Зачем в A/B тестах применяют методы variance reduction вроде CUPED (Controlled-experiment Using Pre-Experiment Data)?

AЧтобы уменьшить variance метрики и сузить confidence interval при том же трафике, не меняя ожидаемое значение effect.
BЧтобы искусственно увеличить uplift, вычитая шум только из варианта B.
CЧтобы гарантировать p-value меньше выбранного alpha в каждом запуске.
DЧтобы сделать эксперимент нечувствительным к проблемам SRM (Sample Ratio Mismatch).
Правильный ответ. Variance reduction (например, CUPED (Controlled-experiment Using Pre-Experiment Data)) снижает шум метрики и сужает confidence interval при той же выборке, не добавляя смещения при корректном применении.

Разбор

Идея в том, чтобы использовать дополнительную информацию, например covariate из pre-period, которая объясняет часть разброса исхода. Тогда standard error уменьшается, а confidence interval сужается, что позволяет быстрее получить устойчивый вывод. При корректном применении CUPED (Controlled-experiment Using Pre-Experiment Data) не должен вносить bias: он в основном уменьшает variance, а не меняет ожидание effect.

Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»