После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
AПотому что любые изменения интерфейса всегда улучшают метрики, и поэтому формальный тест не нужен для принятия решения
BПотому что без рандомизации мы не знаем контрфактический сценарий, и рост мог быть из-за внешних факторов вроде сезона или маркетинга
CПотому что сравнение с прошлой неделей автоматически доказывает причинность роста и снимает вопрос о влиянии посторонних эффектов
DПотому что A/B тест измеряет только корреляции между группами, а не причинный эффект изменения интерфейса на конверсию
Правильный ответ. A/B тест нужен, чтобы оценить причинный эффект через сравнение контрольной и тестовой групп при рандомизации.
Разбор
Рост метрики после релиза может совпасть по времени с сезоном, маркетинговой кампанией или изменением аудитории. Без рандомизации нельзя корректно оценить контрфактический сценарий — что было бы, если бы редизайн не показывали. В A/B тесте группы формируются случайно, поэтому разница метрик лучше отражает причинный эффект изменения. Варианты про «всегда улучшают» и «доказывает причинность» опираются на неверные допущения.
Проверь себя · 1/3разбор после ответа
Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
Ещё вопросы по теме «Основы A/B-тестирования»
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →