После запуска нового рекламного канала общий activation_rate упал с 25% до 18%. Что лучше всего проверить, чтобы понять, это проблема onboarding или изменение качества трафика?

AПосчитать activation_rate по каналам и сравнить внутри каждого канала, а затем оценить вклад изменения микса трафика в общий показатель
BСразу менять onboarding, потому что любой спад — это проблема продукта
CИгнорировать падение, потому что рост регистраций важнее activation_rate
DСразу удвоить бюджет на новый канал, чтобы вернуть общий activation_rate
Правильный ответ. Падение общего activation_rate часто объясняется mix-shift, поэтому нужно сегментировать по каналам.

Разбор

Если доля пользователей из нового канала выросла, общий показатель может упасть даже при неизменном onboarding из-за более холодной аудитории. Проверьте activation_rate отдельно по старым и новым каналам и сравните их с историей. Дальше можно сделать мысленное «взвешивание» по старому миксу, чтобы понять, сколько падения объясняется составом трафика. Если внутри каналов тоже стало хуже, тогда уже искать проблему в onboarding или продуктовых изменениях.

Проверь себя · 1/3разбор после ответа
В A/B тесте новый onboarding включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation_rate для сравнения вариантов?
Тренировать продукт в Telegram

Ещё вопросы по теме «Рост, активация и онбординг»