Тест нового онбординга: через месяц средний чек оставшихся пользователей тестовой группы на 25% выше контроля. Но retention в тестовой группе на 10% ниже — больше пользователей ушли. Что не так с выводом о росте среднего чека?
AЭффект реальный, потому что оставшиеся пользователи стали больше покупать благодаря новому онбордингу
BСравнение только среди оставшихся пользователей смещено: новый онбординг мог отсеять менее платёжеспособных
CРезультат объясняется сезонностью: через месяц после запуска покупательная активность выросла у всех
DРазмер выборки через месяц стал слишком маленьким для корректных статистических выводов
Правильный ответ. Ошибка выжившего: если тест отсеивает часть аудитории, метрики среди оставшихся завышены.
Разбор
Survivorship bias возникает, когда анализируют только «выживших» пользователей. Если новый онбординг отпугнул менее платёжеспособных пользователей, оставшиеся — самые лояльные и богатые. Средний чек среди них будет выше даже без реального улучшения продукта. Правильный анализ должен учитывать всех пользователей, включая ушедших (ITT-подход).
Проверь себя · 1/3разбор после ответа
Команда социальной сети тестирует новый алгоритм рекомендаций. Пользователи рандомизированы индивидуально. Тестовая группа делает на 20% больше репостов, но и в контрольной группе репосты выросли на 8%. Что наиболее вероятно произошло?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →