В A/B-тесте новый онбординг включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation rate для сравнения вариантов?

AАктивированные / все посетители лендинга, включая тех, кто ушёл до регистрации
BАктивированные / все установки приложения за период эксперимента
CАктивированные / пользователи с событием signup_complete, которым реально назначен вариант
DАктивированные / активированные, чтобы сравнить «качество» активации между вариантами
Правильный ответ. Для честного сравнения activation rate знаменатель должен соответствовать моменту назначения варианта в эксперименте.

Разбор

Если вариант назначается после события signup_complete, сравнивать нужно только тех, кто дошёл до момента назначения. Иначе метрика смешает эффект онбординга и различия в верхней части воронки. Деление на всех посетителей или установки размоет эффект и может дать ложные выводы. Корректный знаменатель — аудитория, для которой тест реально применим, то есть назначенные пользователи.

Проверь себя · 1/2разбор после ответа
У вас цикл роста через приглашения. Активированный пользователь в среднем отправляет 0.5 приглашения, 40% приглашённых регистрируются, 50% из них активируются в первые сутки. Какой вывод корректен, если коэффициент цикла = invites_per_user × signup_rate × activation_rate?
Тренировать продукт в Telegram

Ещё вопросы по теме «Рост, активация и онбординг»