Рост, активация и онбординг: вопросы для собеседования (часть 4)
Activation rate, aha-moment, онбординг-воронка, growth loops — механики роста продукта, которые должен понимать аналитик. На собеседовании спрашивают, как найти aha-moment по данным, как измерить качество онбординга и что делать, если пользователи уходят на втором шаге. Рост — одна из главных задач продуктовых команд.
Вопросы 16–20 из 20
16В A/B тесте новый `onboarding` включается только после события `signup_complete`. Часть посетителей уходит до регистрации. Как корректнее считать `activation_rate` для сравнения вариантов?
AАктивированные / все посетители лендинга
BАктивированные / все установки приложения
CАктивированные / пользователи с `signup_complete`, которым реально назначен вариант
DАктивированные / активированные (чтобы сравнить качество активированных)
Ответ: Для честного сравнения `activation_rate` знаменатель должен соответствовать моменту назначения варианта в эксперименте.
Если вариант назначается после `event='signup_complete'`, то сравнивать нужно тех, кто дошел до назначения, иначе метрика смешает эффект `onboarding` и различия в верхней части воронки. Деление на всех посетителей или установки размоет эффект и может дать ложные выводы из-за разной доли людей, не дошедших до назначения. Поэтому корректный знаменатель — аудитория, для которой тест реально применим (обычно `assigned users`).
17В продукте есть `growth loop` через расшаривание. Регистрации растут, но число новых пользователей, достигших `activation`, перестало расти. Что самое полезное сделать первым?
AСрочно изменить логотип, чтобы повысить доверие новых пользователей
BСчитать это сезонностью и подождать еще месяц без анализа
CУвеличить бюджет на платный трафик, чтобы «продавить» рост `activation`
DРазложить `growth loop` на шаги и измерить `conversion` и время на каждом шаге, например `share_rate`, `click_to_signup`, `signup_to_activation`, `loop_time`, чтобы найти узкое место
Ответ: Диагностика `growth loop` начинается с разложения на шаги и измерения `conversion` и скорости прохождения цикла.
Рост регистраций при стагнации `activation` означает, что где-то после входа воронка стала хуже: качество трафика, `onboarding`, путь до `aha moment` или сама петля. Разложение по шагам показывает, какой коэффициент упал: люди хуже кликают по шарингу, чаще бросают регистрацию или не доходят до `activation`. Метрика `loop_time` помогает понять, не стал ли цикл просто медленнее, из-за чего эффект временно не виден. После нахождения узкого места можно точечно улучшать `onboarding` или механики шаринга, а не действовать вслепую.
18Вы добавили бонус за выполнение шага `complete_tutorial`. `activation` выросла, но `retention` и `conversion` не выросли и даже слегка просели. Что наиболее вероятно и что делать?
AЭто идеальный результат: главное, что `activation` выросла, остальное не важно
BЭто значит, что бонус слишком маленький; нужно увеличить бонус и повторить
CЭто доказывает, что `aha moment` равен `complete_tutorial`, просто `retention` мерили неправильно
DВы стимулировали формальный шаг, не связанный с `aha moment`; нужно переопределить `activation` вокруг реальной ценности и оценивать downstream-эффекты
Ответ: Если стимул поднимает `activation`, но не улучшает `retention`, вероятно метрика `activation` не отражает `aha moment`.
Бонус может заставить людей «пройти туториал», не получив ценности, и даже вызвать разочарование из-за лишнего трения. Тогда `activation` становится искусственно завышенной и перестает быть хорошим индикатором качества `onboarding`. Важно привязать `activation` к реальному ценностному действию и проверять downstream: `retention`, повторные ключевые действия, `conversion`. Иногда лучше убрать стимулы или сместить их на шаг, который действительно ведет к `aha moment`.
19После запуска нового рекламного канала общий `activation_rate` упал с 25% до 18%. Что лучше всего проверить, чтобы понять, это проблема `onboarding` или изменение качества трафика?
AПосчитать `activation_rate` по каналам и сравнить внутри каждого канала, а затем оценить вклад изменения микса трафика в общий показатель
BСразу менять `onboarding`, потому что любой спад — это проблема продукта
CИгнорировать падение, потому что рост регистраций важнее `activation_rate`
DСразу удвоить бюджет на новый канал, чтобы вернуть общий `activation_rate`
Ответ: Падение общего `activation_rate` часто объясняется `mix-shift`, поэтому нужно сегментировать по каналам.
Если доля пользователей из нового канала выросла, общий показатель может упасть даже при неизменном `onboarding` из-за более холодной аудитории. Проверьте `activation_rate` отдельно по старым и новым каналам и сравните их с историей. Дальше можно сделать мысленное «взвешивание» по старому миксу, чтобы понять, сколько падения объясняется составом трафика. Если внутри каналов тоже стало хуже, тогда уже искать проблему в `onboarding` или продуктовых изменениях.
20У вас `growth loop` через приглашения. Активированный пользователь в среднем отправляет 0.5 приглашения, 40% приглашенных регистрируются, 50% из них достигают `activation` в первые сутки. Какой вывод корректен, если считать `loop_factor = invites_per_user * signup_rate * activation_rate`?
AЦикл сам себя разгоняет, потому что `loop_factor` больше 1
BЦикл сам себя разгоняет, потому что есть хоть какие-то приглашения
C`loop_factor` равен 0.1, значит цикл не самодостаточный и требует улучшения коэффициентов или внешнего притока
DНельзя делать вывод без метрики `conversion` на оплату
Ответ: Для `growth loop` важно, сколько новых активированных пользователей рождает один активированный пользователь, то есть `loop_factor`.
Здесь `loop_factor = 0.5 * 0.4 * 0.5 = 0.1`, то есть один активированный пользователь приносит в среднем 0.1 нового активированного. Это означает, что без внешнего канала цикл не будет сам себя поддерживать. Улучшать можно любой множитель: больше приглашений, выше регистрация по приглашению, лучше `onboarding` для приглашенных, чтобы они быстрее проходили `activation`. Также важно смотреть время прохождения цикла, чтобы рост был не только возможным, но и быстрым.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в TelegramДругие темы: Продуктовая аналитика