Можно ли одновременно использовать стратификацию при рандомизации и CUPED на этапе анализа?

AНет: после стратификации предтестовые данные уже учтены при рандомизации, поэтому CUPED не даёт дополнительного снижения дисперсии
BДа, но только если ковариата для CUPED и переменная стратификации совпадают, иначе они дублируют поправку и дисперсия растёт
CДа, методы совместимы: стратификация балансирует группы при рандомизации, а CUPED снижает дисперсию через предтестовую ковариату
DДа, но при совместном применении формулы размера выборки занижают MDE, и итоговая мощность теста оказывается завышенной
Правильный ответ. Да: стратификация работает на дизайне (баланс групп), а CUPED — на анализе (снижение дисперсии через предтестовую ковариату).

Разбор

Стратификация влияет на дизайн эксперимента: она снижает риск дисбаланса групп по важным факторам ещё до запуска. CUPED влияет на анализ: использует предтестовую ковариату, не затронутую воздействием, чтобы уменьшить дисперсию оценки эффекта. В комбинации методы часто дают более стабильные результаты при условии, что их применяют последовательно и заранее планируют. Совпадение переменной стратификации и ковариаты допустимо, но обычно не нужно: они решают разные задачи и хорошо работают вместе.

Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент theta. Как его обычно получают на практике?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»