Эксперимент проводится на офлайн-точках, а метрика revenue сильно зависит от store и day-of-week. Как корректнее применить blocking при назначении A и B?
AРаздать вариант каждой точке случайно, не учитывая
store и day-of-week.BСначала провести неделю только
A, затем неделю только B.CСделать
blocking по store и/или day-of-week и внутри каждого блока рандомизировать A/B.DОтсортировать точки по
revenue и дать первые 50% в B.Правильный ответ. Если
revenue сильно зависит от store и day-of-week, blocking по ним и рандомизация внутри блоков снижает variance и повышает power.Разбор
В офлайн-экспериментах разница между точками может быть большой и доминировать над effect. Если рандомизировать внутри блоков, сравнение A и B происходит на более похожих единицах. Это уменьшает влияние внешних факторов и повышает мощность. Блоки должны быть определены до вмешательства и не зависеть от post-period поведения.
Проверь себя · 1/3разбор после ответа
Эксперимент проводится на офлайн-точках, а метрика
revenue сильно зависит от store и day-of-week. Как корректнее применить blocking при назначении A и B?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →