Вы тестируете новый экран, целевая метрика conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?
A
pre-period revenue_per_user пользователя.B
pre-period sessions_per_user пользователя.C
post-period clicks_on_new_screen, которые напрямую зависят от варианта.DФиксированный признак
country пользователя.Правильный ответ. В
CUPED (Controlled-experiment Using Pre-Experiment Data) нельзя использовать covariate (ковариата — вспомогательная переменная), которая зависит от варианта в post-period: это leakage (утечка данных между группами) и риск bias.Разбор
Классическое требование: covariate (ковариата — вспомогательная переменная) не должна зависеть от воздействия и должна быть измерена до выдачи варианта. Если корректировать по тому, что само изменилось из-за эксперимента, вы частично вычитаете effect и получаете смещённую оценку. Поэтому чаще используют признаки из pre-period или статические характеристики.
Проверь себя · 1/3разбор после ответа
В методе
CUPED (Controlled-experiment Using Pre-Experiment Data) используется коэффициент theta. Как его обычно получают в практическом применении?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Вы хотите применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) с `covariate` (ковариата — вспомогательная переменная) `pre-period` `sessions_per_user`, но данные `pre-period` есть только у части пользователей, и доля таких пользователей отличается между `A` и `B`. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →