Зачем в A/B тестах применяют методы снижения дисперсии вроде CUPED?

AЧтобы искусственно увеличить наблюдаемый эффект, вычитая шум только из тестовой группы и завышая итоговую разницу метрики
BЧтобы гарантировать p-value ниже выбранного уровня значимости в каждом запуске и автоматически признавать тест успешным
CЧтобы уменьшить дисперсию метрики и сузить доверительный интервал при том же трафике, не меняя ожидаемое значение эффекта
DЧтобы сделать эксперимент нечувствительным к проблемам SRM и автоматически выровнять размеры тестовой и контрольной групп
Правильный ответ. CUPED снижает шум метрики и сужает доверительный интервал при той же выборке, не добавляя смещения при корректном применении.

Разбор

Идея в том, чтобы использовать дополнительную информацию (например, ковариату из предтестового периода), которая объясняет часть разброса исхода. Тогда стандартная ошибка уменьшается, а доверительный интервал сужается, что позволяет быстрее получить устойчивый вывод. При корректном применении CUPED не вносит смещение: метод снижает дисперсию, но не меняет ожидаемое значение эффекта. Завышение эффекта или гарантированное снижение p-value — это уже не снижение дисперсии, а подтасовка.

Проверь себя · 1/3разбор после ответа
Перед запуском вы хотите оценить потенциальный выигрыш от CUPED. Что вы проверите в первую очередь?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»