В методе CUPED (Controlled-experiment Using Pre-Experiment Data) используется коэффициент theta. Как его обычно получают в практическом применении?
AОценивают
theta по данным так, чтобы минимизировать variance скорректированной метрики.BВсегда ставят
theta равным 1, это стандарт CUPED (Controlled-experiment Using Pre-Experiment Data).CПодбирают
theta так, чтобы p-value стал меньше alpha.DБерут
theta из прошлых тестов без пересчёта, чтобы избежать leakage.Правильный ответ. В
CUPED (Controlled-experiment Using Pre-Experiment Data) theta оценивают из данных для максимального variance reduction при сохранении корректности.Разбор
Интуитивно theta говорит, насколько сильно стоит учитывать pre-period covariate при корректировке исхода. Его оценивают по стандартной процедуре, не подгоняя под желаемый результат. Ручной подбор theta ради меньшего p-value превращает корректировку в подгонку и портит статистический вывод.
Проверь себя · 1/3разбор после ответа
Эксперимент проводится на офлайн-точках, а метрика
revenue сильно зависит от store и day-of-week. Как корректнее применить blocking при назначении A и B?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →