Как устроена работа аналитика

 
Приходи к нему лечиться
И корова, и волчица,
И жучок, и червячок,
И медведица!
Всех излечит, исцелит
Добрый доктор Айболит!
 

Корней Чуковский

Как я уже говорил и, вероятно, скажу еще не раз, у аналитика есть две главнейшие задачи: находить узкие места проекта и точки его роста. Это звучит достаточно просто, однако на деле из этих двух формулировок проистекает очень много задач.

С чего аналитик начинает свой день?

Если мы говорим о так называемом продуктовом аналитике (а мы говорим именно о нем), то обычно свой день он начинает с анализа метрик вчерашнего дня.

Продуктовая аналитика – если вкратце, это аналитика конкретного продукта. Сущность продуктовой аналитики в том, чтобы изучать поведение одного (и желательно только одного) продукта в деталях, знать абсолютно все, что с ним происходит, понимать взаимосвязь показателей и уметь оценивать, как отразится на продукте то или иное нововведение.

Когда вы ходите к доктору? Наверное, когда у вас что-то болит. Немногие ходят для профилактики, чтобы ничего не заболело в будущем. Вы приходите, заходите в кабинет, доктор производит с вами некоторые измерения. Притом какие именно – зависит и от вас (например, взрослым замеряют одни показатели, детям – немного другие), и от вашего состояния, и от истории прошлых посещений. Это могут быть рост и вес, температура и частота сердечных сокращений, осмотр горла или кожных покровов, что угодно. Если доктору недостаточно текущих показателей, то он направляет вас либо к другому врачу (специалисту по другим метрикам), либо на более детальное обследование, например на анализ крови, чтобы сделать вывод по иным метрикам.

Вы по просьбе доктора производите дополнительные измерения и приходите к нему вновь. Доктор принимает решение на основании значений этих метрик, назначает вам лекарства или любые другие средства как-то скорректировать ваши метрики в будущем.

Вы принимаете необходимые меры и спустя некоторое время возвращаетесь к доктору на повторное исследование, и цикл начинается снова. И так много раз в течение жизни.

В общем-то, ровно так же и работает аналитика. С тем лишь отличием, что аналитик – это доктор, который приходит к вам сам. Каждый день. Каждый день он будет делать анализ метрик вчерашнего дня. А по понедельникам – еще и анализ метрик за прошедшую неделю. А первого числа месяца – подведение итогов месяца предыдущего.

И в последующих главах я как раз расскажу, как аналитик измеряет все этапы жизненного цикла пользователя: сначала игрок приходит в игру, а спустя некоторое время превращается в огромного кита.

Глава 2
Каким должен быть аналитик?

Каждому человеку, которому ты даришь свое доверие, ты даешь в руки меч. Им он может тебя защитить или уничтожить.

Аниме «Наруто: Ураганные хроники» (Naruto: Shippûden)

Если меня спросят (и ведь спрашивают!), какими качествами должен обладать аналитик, то я первым делом назову скептицизм. Да-да, именно скепсис, старый добрый скепсис по отношению ко всему происходящему. И дело не только в том, что аналитик – это человек, который больше любит цифры, чем людей, а в том, что основной задачей аналитика является сомнение: точно ли мы приняли правильное решение? Почему мы решили именно так? Есть ли решение лучше? Как это проверить?

Большинство аналитиков, которых я знаю, весьма материалистичны в своих суждениях, как правило, они не суеверны и доверяют лишь фактам.

Главное, что есть у аналитика, – это критическое мышление, умение задавать правильные вопросы в любой ситуации.

А потому со стороны может показаться, что аналитики мнительны, по крайней мере во всем сомневаются. Смею вас заверить, это не неуверенность в привычном понимании слова. Аналитик не сомневается, он просто задает уточняющие вопросы.

Есть в статистике такой концепт, как теорема Байеса, которая открывает начало целому направлению мысли – байесианству (мы лишь косвенно затронем его в книге). Не вдаваясь в особые подробности, скажу лишь, что теорема Байеса предполагает, что чем больше факторов мы учтем, тем более точным окажется наш прогноз.

Так вот, если аналитик или любой другой человек с аналитическим мышлением вдруг усомнится в вашем решении и засыплет вопросами, имейте в виду: он просто собирает данные для более точного прогноза по Байесу.

В данной главе мы поговорим о том, кто такие хорошие аналитики, откуда они берутся и как они делают свои странные аналитические отчеты.

Откуда берутся аналитики?

Подкустовные выползни появляются на свет сразу.

Как следует из названия, они выползают из-под куста.

Спектакль «День радио»

Профессиональное сообщество все чаще задается вопросом: где взять хороших игровых аналитиков?

На конференции DevGAMM‐2019 в Москве я вел круглый стол на тему игровой аналитики, и одним из вопросов был следующий: «Как вы нанимаете аналитиков?» Один из отвечающих, грустно вздохнув, сказал: «Наем аналитиков – это боль», и зал разразился аплодисментами. Игровая аналитика – ниша достаточно узкая, и пост аналитика достаточно ответственен, чтобы ставить на него человека «с улицы». Поэтому да, давайте признаемся друг другу: это и правда боль.

Другое дело – игровых аналитиков выращивать. Как в фильме Эльдара Рязанова «Карнавальная ночь»: «Бабу-Ягу со стороны брать не будем, воспитаем в своем коллективе». Практика (по крайней мере, моя) показала, что это более эффективный путь, нежели наем.

Делюсь секретами!

Секрет 1. Кандидат должен любить игры

В описании вакансии игрового аналитика я всегда размещаю требование «любить игры». Во-первых, если у человека есть предубеждение относительно игрового рынка, то он отсеется сам по себе. Во-вторых, на собеседовании можно спросить, во что человек играет, попросить показать телефон (сколько игр установлено, какие это игры, во что кандидат играет чаще всего). В-третьих, тестовое задание покажет, обладает ли человек достаточно широким игровым кругозором.

Секрет 2. Кандидат должен обладать общей адекватностью

Как ни странно, но далеко не все проходят по этому критерию. Как я его проверяю? Опять же, на уровне собеседования. А еще в тестовом задании один из пунктов направлен как раз на проверку общей адекватности. Вопрос, например, звучит так: «Сколько денег компания Blizzard заработала на мобильном рынке за 2017 год?» Казалось бы, Blizzard публикует свою отчетность, надо просто сходить в интернет, найти и «погуглить», плюс добавить знание того, какие из проектов работают на мобильном рынке, а какие нет. Желательно при этом еще оформить ответ красиво и со всеми ссылками, чтобы я понял, на какие источники ссылается кандидат. Но далеко не каждый справляется с этим заданием.

ИСТОРИЯ

Самый классический случай, который был с этим заданием: один из кандидатов прекрасно справился со всеми остальными заданиями, а на этом задании я все о нем понял. Ответ был таким: «Ну, ляма три». У меня к этому ответу есть, прямо скажем, несколько вопросов, и «Ляма три чего?» – лишь один из них.

Секрет 3. Кандидат должен иметь технический бэкграунд

Все же практика показала, что игровые аналитики получаются из специалистов технического профиля. Это могут быть и инженеры, и математики, и экономисты, и физики. А вот лирики – скорее нет. Лирики у нас, как правило, отваливаются на этапе тестового задания.

При этом, признаюсь, в резюме (CV) кандидатов я не смотрю на образование. Совсем не смотрю. Куда важнее опыт работы, навыки, а также достижения, которыми гордится кандидат. К слову, идеальное резюме – это список достижений с датами и ссылками, которыми эти достижения можно проверить (вплоть до контактов бывших работодателей).

Как проверить наличие технического бэкграунда на этапе тестового задания? Я обычно вставляю задание по SQL. Вообще, SQL – базовый навык аналитика, и даже если напрямую SQL в работе может и не пригодиться (хотя это, конечно, маловероятно), владение этим языком довольно точно показывает, работал ли ранее человек с таблицами и базами данных.

Секрет 4. Аналитика нужно грамотно адаптировать

Онбординг – это та последовательность действий, которая ведет к aha! – моменту (в книге мы его разберем довольно подробно). Иначе говоря, это тот набор заданий, с которым сталкивается новоиспеченный аналитик в течение первых месяцев в компании. Как правило, это совпадает с испытательным сроком.

Я всегда стараюсь, чтобы за первые 2–3 месяца аналитик прошел через следующие задания.

– Разбор и анализ конкретной игры. В этом задании аналитику предстоит глубоко погрузиться в игру, разобрать ее по механикам удержания, монетизации, разобрать геймплей по частям и написать рекомендации, как этой игре стать лучше.

– Статистика и данные. Одно дело – смотреть на саму игру, совсем другое – изучать ее данные. Тут-то и пригодятся SQL и табличное мышление. И если при этом аналитик объединяет и свое видение игры, и данные, при этом разграничивая в отчете субъективное и объективное, то аналитик – молодец.

– Подготовка и защита отчета. Про то, как, на мой взгляд, должен выглядеть идеальный отчет аналитика, я напишу чуть позже. Но важно, чтобы и отчет был сделан хорошо, и презентация его заказчику была проведена достаточно четко и уверенно. От аналитика ждут внешней экспертизы, серьезного мнения со стороны, и аналитик, каким бы он ни был, на презентации должен быть уверенным в своих выводах и доводах.

Секрет 5. Контролируем на ранних этапах, позже – доверяем!

Посмотрите на график функции логнормального распределения (синяя линия).

Должен сказать, это один из моих любимых графиков. За малый промежуток времени функция довольно быстро взлетает, а потом падает гладко и уверенно, как лыжник на трамплине.

Этот график хорош еще и тем, что описывает мое отношение к контролю за аналитиками, с которыми я работаю. Буквально за первую неделю я взваливаю на аналитика большое количество задач и довольно скрупулезно и придирчиво контролирую их выполнение, вплоть до того, какое выравнивание используется в отчете, каким шрифтом оформлены заголовки графиков, как формулируются выводы. На первых порах аналитики получают от меня очень детальный и вдумчивый фидбек. Затем я постепенно ослабляю хватку, оставляя аналитику больше свободы в принятии решений – следовательно, больше доверия. И дальше доверие сводится к максимуму, а контроль – к минимуму.

И да, обращаю внимание, эта линия никогда не уйдет в ноль. Пусть минимально, но я буду контролировать работу аналитика все время, пока мы работаем вместе.