Почему A/B-тест обычно запускают параллельно на контрольную и тестовую группы, а не сравнивают тестовую группу с прошлым месяцем?
AСравнение с прошлым месяцем смешивает эффект изменения с сезонностью и внешними факторами, а параллельная контрольная группа помогает их учесть
BПараллельный запуск делает поэтапную раскатку ненужной, поэтому фичу можно сразу выкатывать на 100% пользователей без рисков
CПрошлый месяц всегда меньше по трафику, чем текущий, и потому абсолютные значения метрик не сопоставимы между периодами
DПараллельный запуск автоматически устраняет несоответствие долей групп, и проверять баланс пользователей после запуска уже не нужно
Правильный ответ. Параллельные контрольная и тестовая группы лучше изолируют эффект и снижают влияние сезонности и внешних факторов.
Разбор
При сравнении с прошлым месяцем меняются рекламные кампании, праздники, конкуренты и другие условия. Это делает вывод «фича улучшила метрику» сомнительным, потому что нет сопоставимой контрольной группы. В A/B-тесте группы идут одновременно, поэтому внешние факторы действуют на обе стороны примерно одинаково, и разница ближе к эффекту изменения. Параллельность не отменяет ни поэтапную раскатку, ни проверку долей групп — это отдельные практики безопасности экспериментов.
Проверь себя · 1/3разбор после ответа
Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →