Какие данные нужны, чтобы применить CUPED (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике revenue_per_user?
AДостаточно знать итоговый
p-value, CUPED (Controlled-experiment Using Pre-Experiment Data) вычисляется по нему.BНужна
covariate из pre-period (до воздействия), связанная с revenue_per_user в post-period.CНужна только сегментация пользователей после эксперимента,
pre-period не нужен.DНужно, чтобы группы имели разный размер, иначе
CUPED (Controlled-experiment Using Pre-Experiment Data) не сработает.Правильный ответ.
CUPED (Controlled-experiment Using Pre-Experiment Data) требует предэкспериментальную covariate из pre-period, коррелирующую с целевой метрикой.Разбор
Обычно берут то, что предсказывает поведение пользователя: прошлую revenue_per_user или sessions_per_user в pre-period. Важно, чтобы covariate была измерена до старта воздействия и не могла измениться из-за варианта, иначе появится bias. Если связь слабая, выигрыш в variance reduction будет небольшим.
Проверь себя · 1/3разбор после ответа
Эксперимент проводится на офлайн-точках, а метрика
revenue сильно зависит от store и day-of-week. Как корректнее применить blocking при назначении A и B?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Вы хотите применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) с `covariate` (ковариата — вспомогательная переменная) `pre-period` `sessions_per_user`, но данные `pre-period` есть только у части пользователей, и доля таких пользователей отличается между `A` и `B`. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →