Эксперимент проводится на офлайн-точках, а выручка сильно зависит от магазина и дня недели. Как корректнее всего применить блочную рандомизацию при назначении групп A и B?

AСгруппировать точки по магазину и дню недели и внутри каждого блока случайно назначить A или B
BРаздать вариант каждой точке полностью случайно с расчётом на самовыравнивание различий за счёт большой выборки
CПровести неделю только с вариантом A, затем неделю с B для последовательного сравнения и снятия сезонности
DОтсортировать точки по выручке и отдать первые 50% в группу B ради сходства магазинов по обороту
Правильный ответ. Когда выручка сильно зависит от магазина и дня недели, блочная рандомизация по этим факторам снижает дисперсию и повышает мощность.

Разбор

В офлайн-экспериментах разница между точками может быть очень большой и доминировать над эффектом теста. Если рандомизировать внутри блоков по магазину и дню недели, сравнение A и B идёт на похожих единицах: это снижает дисперсию и повышает мощность. Простая рандомизация без блоков не учитывает заранее известный источник шума, последовательный тест ловит сезонность и тренд, а сортировка по выручке — это уже самоселекция, а не рандомизация.

Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент theta. Как его обычно получают на практике?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»