Вместо случайной рандомизации команда отправила новую версию всем пользователям iOS, а старую оставила на Android. Через месяц конверсия iOS-группы на 30% выше. Можно ли доверять этому результату?
AРезультат достоверный, потому что команда собрала достаточный размер выборки для обеих групп
BРезультат достоверный, потому что группы были определены заранее и не менялись в ходе теста
CРезультат смещён: пользователи iOS и Android различаются по платёжеспособности и поведению
DРезультат недостоверный только из-за разного размера групп — 60% против 40%
Правильный ответ. Ошибка отбора (selection bias) возникает, когда группы формируются не случайно и систематически различаются.
Разбор
Рандомизация — фундамент A/B-теста. Она гарантирует, что группы в среднем одинаковы по всем характеристикам: доходу, активности, устройству. Разделение по платформе нарушает этот принцип: iOS-пользователи в среднем имеют более высокий доход и чаще совершают покупки. Наблюдаемая разница в 30% может полностью объясняться различием аудиторий, а не новой версией продукта.
Проверь себя · 1/3разбор после ответа
Перед запуском A/B-теста аналитик предлагает неделю собирать данные по обеим группам без включения изменения. Зачем нужен этот пре-экспериментальный период?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →