Нам важно понимать про каждую метрику, биномиальная она или нет, потому что для них требуются разные статистические методы.
Итого статистика A/B-тестов сводится к двум классификациям: частотный и байесовский подходы, биномиальные и небиномиальные метрики.
Как видим, самый сложный случай – это байесовский подход с небиномиальными метриками, и на момент написания этой книги по нему почти нет материалов на русском языке. Зато есть пакет PyMC3 на Python.
Резюмируем статистическую часть: решаем про то, какой подход нам использовать, классифицируем метрики на биномиальные и небиномиальные, а дальше идем и ищем онлайн-калькулятор. Либо (если умеете) идем и подгружаем нужный нам пакет в Python – не руками же нам это считать?