Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
AПотому что VIP обычно менее активны и любое сравнение их со всеми остальными неизбежно искажает значение целевой метрики
BПотому что есть смещение отбора: VIP отличаются от остальных, и рост мог быть их особенностью, а не эффектом изменения продукта
CПотому что A/B-тест применим только к показателям конверсии и не подходит для среднего чека или метрик выручки на пользователя
DПотому что если метрика растёт после запуска, это всегда означает, что нулевая гипотеза верна и наблюдаемая разница случайна
Правильный ответ. Без случайного распределения групп нельзя отделить эффект изменения от различий между сегментами аудитории.
Разбор
Если новая функция показана только VIP, вы сравниваете не варианты продукта, а разные сегменты пользователей. VIP могут иметь другой чек и поведение даже без изменения, поэтому наблюдаемая разница не является причинной. A/B-тест с рандомизацией помогает избежать такого смещения, потому что назначение варианта не зависит от свойств пользователя. Утверждения «VIP менее активны», «A/B-тест не подходит для среднего чека» или «рост означает верность нулевой гипотезы» — неверны и не объясняют, почему наблюдение нельзя интерпретировать как эффект.
Проверь себя · 1/3разбор после ответа
Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →