Вместо случайной рандомизации команда отправила новую версию всем пользователям iOS, а старую оставила на Android. Через месяц конверсия iOS-группы на 30% выше. Можно ли доверять этому результату?
AРезультат достоверный, потому что команда собрала достаточный размер выборки для обеих групп
BРезультат достоверный, потому что группы были определены заранее и не менялись в ходе теста
CРезультат смещён: пользователи iOS и Android различаются по платёжеспособности и поведению
DРезультат недостоверный только из-за разного размера групп — 60% против 40%
Правильный ответ. Ошибка отбора (selection bias) возникает, когда группы формируются не случайно и систематически различаются.
Разбор
Рандомизация — фундамент A/B-теста. Она гарантирует, что группы в среднем одинаковы по всем характеристикам: доходу, активности, устройству. Разделение по платформе нарушает этот принцип: iOS-пользователи в среднем имеют более высокий доход и чаще совершают покупки. Наблюдаемая разница в 30% может полностью объясняться различием аудиторий, а не новой версией продукта.
Проверь себя · 1/3разбор после ответа
В A/B-тесте новой кнопки оплаты часть пользователей получает обновлённый интерфейс, а остальные — старый. Что в такой постановке принято называть группой
treatment?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →