Цитаты из книги «Игра в цифры. Как аналитика позволяет видеоиграм жить лучше»

A/B-тесты – это хорошо, но! Нужно понимать, что у A/B-тестов как инструмента есть несколько обратных сторон медали: – бóльшая часть A/B-тестов проваливается – выше я объяснял почему, – и надо быть к этому готовым; – если их делать «по уму», то возникает очень много нюансов. И поверьте, далеко не обо всех я рассказал в попытке сделать книгу более «казуальной» для восприятия; – а если делать «не по уму», то можно прийти к ошибочным решениям – и это правда; – тесты требуют большой аудитории; – прирост от одного теста, как правило, невелик. Трудно сделать такое изменение, которое единомоментно изменит игру и ее метрики до неузнаваемости; – спустя время тестам требуется перепроверка; – и да, это затягивает. A/B-тесты – это непрерывный процесс, целая культура и образ мышления.

– Срочность (таймер, Countdown): акция закончится через 59 минут, ой, уже 58!

– Социальное доказательство (обзоры и комментарии покупателей): ваш друг Вася уже играет в эту игру.

– Дефицит (отображение количества доступных единиц товара): на сайте осталось лишь 10 холодильников!

В интернете можно найти немало информации про успешные и неуспешные A/B-тесты. И группа исследователей заморочилась и изучила, какие изменения в тестах работают чаще всего. Получилось интересно, хоть и касается в большей степени электронной коммерции, а не игр. Итак, лучше всего работают следующие механизмы.

Что можно сказать по итогу анализа 6700 тестов

– Выгодная трактовка результатов эксперимента.

– Неправильные гипотезы и недостаточно заметные изменения.

Ошибки, которые можно допустить

Нам важно понимать про каждую метрику, биномиальная она или нет, потому что для них требуются разные статистические методы. Итого статистика A/B-тестов сводится к двум классификациям: частотный и байесовский подходы, биномиальные и небиномиальные метрики. Как видим, самый сложный случай – это байесовский подход с небиномиальными метриками, и на момент написания этой книги по нему почти нет материалов на русском языке. Зато есть пакет PyMC3 на Python. Резюмируем статистическую часть: решаем про то, какой подход нам использовать, классифицируем метрики на биномиальные и небиномиальные, а дальше идем и ищем онлайн-калькулятор. Либо (если умеете) идем и подгружаем нужный нам пакет в Python – не руками же нам это считать?