Эксперимент проводится на офлайн-точках, а выручка сильно зависит от магазина и дня недели. Как корректнее всего применить блочную рандомизацию при назначении групп A и B?
AСгруппировать точки по магазину и дню недели и внутри каждого блока случайно назначить
A или BBРаздать вариант каждой точке полностью случайно с расчётом на самовыравнивание различий за счёт большой выборки
CПровести неделю только с вариантом
A, затем неделю с B для последовательного сравнения и снятия сезонностиDОтсортировать точки по выручке и отдать первые 50% в группу
B ради сходства магазинов по оборотуПравильный ответ. Когда выручка сильно зависит от магазина и дня недели, блочная рандомизация по этим факторам снижает дисперсию и повышает мощность.
Разбор
В офлайн-экспериментах разница между точками может быть очень большой и доминировать над эффектом теста. Если рандомизировать внутри блоков по магазину и дню недели, сравнение A и B идёт на похожих единицах: это снижает дисперсию и повышает мощность. Простая рандомизация без блоков не учитывает заранее известный источник шума, последовательный тест ловит сезонность и тренд, а сортировка по выручке — это уже самоселекция, а не рандомизация.
Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент
theta. Как его обычно получают на практике?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →