В эксперименте метрика conversion сильно различается у new_users и returning_users, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?

AСделать stratification по new_users и returning_users и раздавать A и B внутри каждого слоя.
BЗапустить без stratification, а потом анализировать разрезы и проверять баланс сегментов (но это хуже, чем балансировать на дизайне).
CИспользовать CUPED (Controlled-experiment Using Pre-Experiment Data) по post-period conversion как covariate.
DИсключить new_users, чтобы уменьшить variance.
Правильный ответ. stratification по важному сегменту делает состав групп более ровным и снижает шум оценки effect.

Разбор

Если сегменты имеют разные базовые уровни conversion, случайный перекос долей сегментов между A и B может имитировать effect. stratification обеспечивает баланс сегментов в каждой группе и часто даёт заметное variance reduction. Это особенно полезно при ограниченном трафике или когда сегменты сильно различаются по поведению.

Проверь себя · 1/3разбор после ответа
Эксперимент проводится на офлайн-точках, а метрика revenue сильно зависит от store и day-of-week. Как корректнее применить blocking при назначении A и B?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»