В A/B тесте новый онбординг поднял активацию на 3 п.п., но удержание за 7 дней упало. Какой вывод наиболее корректен?

AРаскатить эксперимент: рост активации на 3 п.п. перевешивает падение удержания, и положительный эффект уже подтверждён ранним показателем за первую неделю
BОстановить эксперимент: падение удержания за 7 дней перечёркивает любой рост активации, и продолжение наблюдения только снижает доверие к команде
CНе торопиться с выводами: проверить страховочные метрики, качество активации и понять, не стала ли она формальной без реального ценностного момента
DИзменить определение активации задним числом, чтобы новый онбординг лучше выглядел в сравнении со старым, и закрыть эксперимент с положительным итогом
Правильный ответ. Рост активации без пользы для удержания может означать, что активация стала слабым прокси для ценностного момента.

Разбор

В экспериментах по онбордингу важно держать защитные метрики, чтобы не улучшать ранние метрики ценой долгосрочных. Падение удержания за 7 дней может означать, что пользователи быстрее доходят до формального события, но не получают устойчивой ценности. Стоит проверить качество активированных: повторные сессии, глубину использования, конверсию дальше по воронке. Иногда решение — уточнить определение активации и перестроить путь к ценностному моменту.

Проверь себя · 1/2разбор после ответа
В A/B-тесте новый онбординг включается только после события signup_complete. Часть посетителей уходит до регистрации. Как корректнее считать activation rate для сравнения вариантов?
Тренировать продукт в Telegram

Ещё вопросы по теме «Рост, активация и онбординг»