Зачем в A/B тестах применяют методы снижения дисперсии вроде CUPED?
AЧтобы искусственно увеличить наблюдаемый эффект, вычитая шум только из тестовой группы и завышая итоговую разницу метрики
BЧтобы гарантировать
p-value ниже выбранного уровня значимости в каждом запуске и автоматически признавать тест успешнымCЧтобы уменьшить дисперсию метрики и сузить доверительный интервал при том же трафике, не меняя ожидаемое значение эффекта
DЧтобы сделать эксперимент нечувствительным к проблемам
SRM и автоматически выровнять размеры тестовой и контрольной группПравильный ответ.
CUPED снижает шум метрики и сужает доверительный интервал при той же выборке, не добавляя смещения при корректном применении.Разбор
Идея в том, чтобы использовать дополнительную информацию (например, ковариату из предтестового периода), которая объясняет часть разброса исхода. Тогда стандартная ошибка уменьшается, а доверительный интервал сужается, что позволяет быстрее получить устойчивый вывод. При корректном применении CUPED не вносит смещение: метод снижает дисперсию, но не меняет ожидаемое значение эффекта. Завышение эффекта или гарантированное снижение p-value — это уже не снижение дисперсии, а подтасовка.
Проверь себя · 1/3разбор после ответа
Перед запуском вы хотите оценить потенциальный выигрыш от
CUPED. Что вы проверите в первую очередь?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Вы хотите применить `CUPED` с ковариатой `sessions_per_user` за период до эксперимента, но эти данные есть только у части пользователей, и доля таких пользователей различается между группами A и B. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →