A/B-тесты – это хорошо, но!
Нужно понимать, что у A/B-тестов как инструмента есть несколько обратных сторон медали:
– бóльшая часть A/B-тестов проваливается – выше я объяснял почему, – и надо быть к этому готовым;
– если их делать «по уму», то возникает очень много нюансов. И поверьте, далеко не обо всех я рассказал в попытке сделать книгу более «казуальной» для восприятия;
– а если делать «не по уму», то можно прийти к ошибочным решениям – и это правда;
– тесты требуют большой аудитории;
– прирост от одного теста, как правило, невелик. Трудно сделать такое изменение, которое единомоментно изменит игру и ее метрики до неузнаваемости;
– спустя время тестам требуется перепроверка;
– и да, это затягивает. A/B-тесты – это непрерывный процесс, целая культура и образ мышления.