Цитаты из книг автора «Василий Сабиров»

Иногда, чтобы проверить выборку на однородность, используют AA-тесты. Мы ничего не меняем в игре, мы просто случайно распределяем пользователей по группам. И если результаты в итоге отличаются, то это говорит нам о том, что аудитория слишком неоднородна (и, скорее всего, мала), чтобы делать на ней A/B-тесты и доверять им.

Надо поставить на вход в тест этакую шляпу, случайный распределительный элемент, который будет раскидывать пользователей по группам. В нашем примере эта шляпа должна работать и в среду, и в четверг – так, чтобы в обеих группах теста (если их две) оказалось сопоставимое число пользователей.

Все это вместе и определяет размер выборки. Памятуя о том, что каждая формула в книге уменьшает число ее читателей вдвое, я не буду вставлять сюда формул. Скажу лишь, что сейчас существует достаточно много калькуляторов (вбейте в строке поиска «калькулятор выборки»), и он сам вам все посчитает.

1. А сколько будет групп теста? Две или больше? 2. А какое изменение мы хотим «отловить»? Если мы сделали изменение, которое обещает поднять Retention с 30 до 40 %, то пользователей много и не надо – мы сможем это доказать и на маленькой выборке. А если оно обещает изменить показатель с 30 до 30,1 %, то и больше потребуется пользователей, чтобы доказать, что наше изменение действительно сработало статистически значимым образом. 3. Какой у нас уровень значимости? О том, что это такое, мы поговорим чуть позже.

Я же предлагаю запустить сразу два теста, в одно и то же время. У нас есть два варианта кнопки и два варианта текста. Мы перемножаем одно на другое и получаем 4 группы для теста. Такой подход называется мультивариантным тестированием.

Сколько может быть вариантов в A/B-тесте? По определению теста – вроде как два, группа A и группа B. На самом же деле вариантов может быть сколько угодно.

– ASO (как приложение размещено в магазине приложений); – визуальное оформление; – призывы к действию (call to action); – FTUE (первая сессия); – описания и тексты; – реклама (где и в какой момент всплывает в игре рекламное сообщение); – push-уведомления и тайминг (когда присылать уведомления игроку и с каким текстом); – цены и акции; – экраны покупки и магазин.

Итого чаще всего меняются следующие элементы игры:

Идея эксперимента: что меняем?

A/B-тест – это фиксированная последовательность шагов, и я бы выделил следующие основные этапы. 1. Идея эксперимента. 2. Генерация вариантов. 3. Подготовка выборки. 4. Выбор метрик. 5. Предварительное тестирование. 6. Непосредственно эксперимент. 7. Интерпретация результатов.