В A/B тесте новый onboarding включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation_rate для сравнения вариантов?

AАктивированные / все посетители лендинга
BАктивированные / все установки приложения
CАктивированные / пользователи с signup_complete, которым реально назначен вариант
DАктивированные / активированные (чтобы сравнить качество активированных)
Правильный ответ. Для честного сравнения activation_rate знаменатель должен соответствовать моменту назначения варианта в эксперименте.

Разбор

Если вариант назначается после event='signup_complete', то сравнивать нужно тех, кто дошел до назначения, иначе метрика смешает эффект onboarding и различия в верхней части воронки. Деление на всех посетителей или установки размоет эффект и может дать ложные выводы из-за разной доли людей, не дошедших до назначения. Поэтому корректный знаменатель — аудитория, для которой тест реально применим (обычно assigned users).

Проверь себя · 1/3разбор после ответа
В A/B тесте новый onboarding включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation_rate для сравнения вариантов?
Тренировать продукт в Telegram

Ещё вопросы по теме «Рост, активация и онбординг»