Перед запуском A/B-теста аналитик предлагает неделю собирать данные по обеим группам без включения изменения. Зачем нужен этот пре-экспериментальный период?
AПроверить, что новая функциональность технически работает без ошибок и багов
BНакопить достаточно пользователей в каждой группе для статистической значимости
CУбедиться, что метрики обеих групп были одинаковыми до начала воздействия, и зафиксировать базовый уровень
DДать пользователям привыкнуть к интерфейсу перед тем, как показывать им изменения
Правильный ответ. Пре-экспериментальный период подтверждает, что группы были сбалансированы до начала теста.
Разбор
Сбор данных до включения воздействия решает две задачи. Во-первых, если метрики групп уже различаются до теста — значит, рандомизация нарушена и результатам нельзя доверять. Во-вторых, зная базовый уровень метрик, можно использовать методы повышения чувствительности (CUPED), которые уменьшают дисперсию и позволяют быстрее обнаружить эффект.
Проверь себя · 1/3разбор после ответа
Вы сравнили метрику до изменения и после изменения и увидели рост. Какой риск чаще всего делает такой вывод о причинности ненадёжным?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →