Можно ли одновременно использовать stratification при randomization и CUPED (Controlled-experiment Using Pre-Experiment Data) на этапе анализа?
AНет: после
stratification pre-period данные уже учтены при рандомизации, поэтому CUPED не даёт дополнительного снижения variance и его применение некорректно.BДа, но только если
pre-period covariate и stratification переменная совпадают; иначе они дублируют поправку и variance увеличивается вместо снижения.CДа, методы совместимы:
stratification балансирует группы, а CUPED (Controlled-experiment Using Pre-Experiment Data) снижает variance через pre-period covariate.DДа, но при совместном применении обязательно нужно пересчитать
sample size: стандартные формулы занижают MDE, и итоговая мощность теста оказывается завышенной.Правильный ответ. Да:
stratification работает на дизайне (баланс групп), а CUPED (Controlled-experiment Using Pre-Experiment Data) — на анализе (снижение variance через pre-period ковариату).Разбор
stratification влияет на дизайн: она снижает риск дисбаланса по важным факторам. CUPED (Controlled-experiment Using Pre-Experiment Data) влияет на анализ: он уменьшает variance, используя pre-period covariate, не затронутую воздействием. В комбинации методы часто дают более стабильные результаты, если их применяют последовательно и заранее планируют.
Проверь себя · 1/3разбор после ответа
В методе
CUPED (Controlled-experiment Using Pre-Experiment Data) используется коэффициент theta. Как его обычно получают в практическом применении?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →