Эксперимент попал на распродажу, которая сильно меняет поведение. Какое утверждение наиболее корректно про seasonality в этом случае?
A
seasonality не важна, если тест идёт достаточно долгоB
seasonality опасна: результат может отражать влияние распродажи; важно иметь параллельный control в те же даты и аккуратно интерпретировать переносимость эффектаC
seasonality означает только ошибку SRMDЛучше полностью убрать
control, чтобы не мешал распродажеПравильный ответ.
seasonality и внешние события могут менять базовый уровень метрик, поэтому важны параллельный control и осторожная интерпретация.Разбор
Даже при корректном A/B test распродажа может менять состав трафика и мотивацию пользователей, поэтому эффект фичи может проявляться иначе, чем в обычные дни. Параллельный control помогает сравнивать варианты в одинаковых условиях. Но при сильной seasonality важно проверить, как эффект выглядит по дням и сегментам, и оценить, переносится ли он на обычный период перед rollout.
Проверь себя · 1/3разбор после ответа
Эксперимент длился 2 дня и пришёлся только на выходные, а в будни поведение заметно другое. Какой риск наиболее важен?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →