После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B test нельзя уверенно сказать, что рост вызван именно редизайном?
AПотому что без
randomization мы не знаем counterfactual и рост мог быть из-за внешних факторовBПотому что любые изменения интерфейса всегда улучшают метрики, и тест не нужен
CПотому что сравнение с прошлой неделей автоматически доказывает причинность
DПотому что
A/B test измеряет только корреляции, а не причинностьПравильный ответ.
A/B test нужен, чтобы оценить причинный эффект через сравнение control и treatment при randomization.Разбор
Рост метрики после релиза может совпасть по времени с сезоном, маркетинговой кампанией или изменением аудитории. Без randomization нельзя корректно оценить counterfactual — что было бы, если бы редизайн не показывали. В A/B test группы формируются случайно, поэтому разница метрик лучше отражает причинный эффект изменения.
Проверь себя · 1/3разбор после ответа
Перед запуском A/B-теста аналитик предлагает неделю собирать данные по обеим группам без включения изменения. Зачем нужен этот пре-экспериментальный период?
Ещё вопросы по теме «Основы A/B-тестирования»
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →