Можно ли одновременно использовать стратификацию при рандомизации и CUPED на этапе анализа?
AНет: после стратификации предтестовые данные уже учтены при рандомизации, поэтому
CUPED не даёт дополнительного снижения дисперсииBДа, но только если ковариата для
CUPED и переменная стратификации совпадают, иначе они дублируют поправку и дисперсия растётCДа, методы совместимы: стратификация балансирует группы при рандомизации, а
CUPED снижает дисперсию через предтестовую ковариатуDДа, но при совместном применении формулы размера выборки занижают
MDE, и итоговая мощность теста оказывается завышеннойПравильный ответ. Да: стратификация работает на дизайне (баланс групп), а
CUPED — на анализе (снижение дисперсии через предтестовую ковариату).Разбор
Стратификация влияет на дизайн эксперимента: она снижает риск дисбаланса групп по важным факторам ещё до запуска. CUPED влияет на анализ: использует предтестовую ковариату, не затронутую воздействием, чтобы уменьшить дисперсию оценки эффекта. В комбинации методы часто дают более стабильные результаты при условии, что их применяют последовательно и заранее планируют. Совпадение переменной стратификации и ковариаты допустимо, но обычно не нужно: они решают разные задачи и хорошо работают вместе.
Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент
theta. Как его обычно получают на практике?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →