Почему A/B test обычно запускают параллельно на control и treatment, а не сравнивают treatment с прошлым месяцем?
AПараллельный запуск делает
rollout не нуженBПрошлый месяц всегда меньше по трафику
CПараллельный запуск устраняет
SRM автоматическиDСравнение с прошлым месяцем смешивает эффект изменения с
seasonality и внешними факторами, а control помогает их контролироватьПравильный ответ. Параллельные
control/treatment лучше изолируют эффект и снижают влияние seasonality.Разбор
При сравнении с прошлым месяцем меняются рекламные кампании, праздники, конкуренты и другие условия. Это делает вывод «фича улучшила метрику» сомнительным, потому что нет сопоставимого control. В A/B test группы идут одновременно, поэтому внешние факторы действуют на обе стороны примерно одинаково, и разница ближе к эффекту изменения.
Проверь себя · 1/3разбор после ответа
Вы планировали сплит 50/50 между
control и treatment, но стабильно видите 62/38 по пользователям. Что это наиболее вероятно и что делать?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →