В эксперименте обнаружили SRM (Sample Ratio Mismatch): доля пользователей в варианте B заметно выше ожидаемой. Поможет ли CUPED (Controlled-experiment Using Pre-Experiment Data) решить эту проблему?

AДа, CUPED (Controlled-experiment Using Pre-Experiment Data) автоматически исправляет SRM (Sample Ratio Mismatch), потому что снижает variance.
BДа, если выбрать covariate из pre-period.
CНет, CUPED (Controlled-experiment Using Pre-Experiment Data) не исправляет проблемы randomization вроде SRM (Sample Ratio Mismatch); сначала нужно найти причину дисбаланса.
DНет, но stratification после эксперимента всегда полностью чинит SRM (Sample Ratio Mismatch).
Правильный ответ. Нет: CUPED (Controlled-experiment Using Pre-Experiment Data) снижает variance при корректной рандомизации, но не исправляет проблемы назначения трафика (SRM (Sample Ratio Mismatch)).

Разбор

SRM (Sample Ratio Mismatch) обычно сигнализирует о проблеме в назначении вариантов или трекинге. Если базовая рандомизация сломана, любые методы variance reduction, включая CUPED (Controlled-experiment Using Pre-Experiment Data), не гарантируют корректности и могут дать вводящие в заблуждение результаты. Поэтому сначала проверяют источники SRM (Sample Ratio Mismatch), а уже потом применяют CUPED (Controlled-experiment Using Pre-Experiment Data) для повышения точности.

Проверь себя · 1/3разбор после ответа
Эксперимент проводится на офлайн-точках, а метрика revenue сильно зависит от store и day-of-week. Как корректнее применить blocking при назначении A и B?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»