В A/B тесте новый onboarding включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation_rate для сравнения вариантов?
AАктивированные / все посетители лендинга
BАктивированные / все установки приложения
CАктивированные / пользователи с
signup_complete, которым реально назначен вариантDАктивированные / активированные (чтобы сравнить качество активированных)
Правильный ответ. Для честного сравнения
activation_rate знаменатель должен соответствовать моменту назначения варианта в эксперименте.Разбор
Если вариант назначается после event='signup_complete', то сравнивать нужно тех, кто дошел до назначения, иначе метрика смешает эффект onboarding и различия в верхней части воронки. Деление на всех посетителей или установки размоет эффект и может дать ложные выводы из-за разной доли людей, не дошедших до назначения. Поэтому корректный знаменатель — аудитория, для которой тест реально применим (обычно assigned users).
Проверь себя · 1/3разбор после ответа
В A/B тесте новый
onboarding включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation_rate для сравнения вариантов?Ещё вопросы по теме «Рост, активация и онбординг»
- Вы запускаете приложение для учета личных расходов. Ценность появляется, когда пользователь видит первую автокатегоризацию трат (это ваш `aha moment`). Какую метрику `activation` логичнее выбрать?
- В freemium-продукте что лучше всего описывает разницу между `activation` и `conversion`?
- Команда хочет найти действие, которое ближе всего к `aha moment` в продукте. Какой подход наиболее практичен и надежен?
- Какой сценарий лучше всего описывает `growth loop`, а не разовую кампанию?
- Вы хотите понять, ускоряет ли новый `onboarding` достижение `aha moment`. Какая метрика лучше всего подходит?
- Все вопросы по «Рост, активация и онбординг» →