В каком случае применение CUPED (Controlled-experiment Using Pre-Experiment Data) чаще всего почти не даст variance reduction?
AКогда
pre-period covariate почти не связана с целевой метрикой в post-period (например, correlation близка к 0).BКогда выборка большая, потому что
CUPED (Controlled-experiment Using Pre-Experiment Data) работает только на малых выборках.CКогда метрика бинарная, потому что
CUPED (Controlled-experiment Using Pre-Experiment Data) не применяется к долям.DКогда вы используете
stratification, потому что она полностью заменяет CUPED (Controlled-experiment Using Pre-Experiment Data).Правильный ответ. Если
pre-period ковариата почти не связана с метрикой в post-period, то CUPED (Controlled-experiment Using Pre-Experiment Data) почти не снижает variance.Разбор
CUPED (Controlled-experiment Using Pre-Experiment Data) уменьшает шум за счёт объяснения части вариативности через covariate. Если covariate почти ничего не предсказывает, то и вычитать нечего, поэтому variance почти не меняется. В таком случае усложнение расчётов может не окупиться.
Проверь себя · 1/3разбор после ответа
В методе
CUPED (Controlled-experiment Using Pre-Experiment Data) используется коэффициент theta. Как его обычно получают в практическом применении?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →