Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
AПотому что VIP-пользователи обычно менее активны и это всегда искажает метрику
BПотому что есть смещение отбора: VIP отличаются от остальных и рост мог быть их особенностью, а не эффектом изменения
CПотому что
A/B test применим только к конверсии, а не к среднему чекуDПотому что если метрика растёт, это всегда означает, что
H0 вернаПравильный ответ. Без случайного распределения групп нельзя отделить эффект изменения от различий в аудитории.
Разбор
Если новая функция показана только VIP, вы сравниваете не варианты продукта, а разные сегменты пользователей. VIP могут иметь другой чек и поведение даже без изменения, поэтому наблюдаемая разница не является причинной. A/B test с randomization помогает избежать такого смещения.
Проверь себя · 1/3разбор после ответа
Тест изменяет дизайн экрана оплаты. Из 50 000 пользователей тестовой группы только 8 000 дошли до этого экрана. Метрика — общая конверсия в покупку. Как триггеринг поможет увеличить чувствительность теста?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →