Чем CUPED (Controlled-experiment Using Pre-Experiment Data) отличается от подхода сравнивать метрику как post-period - pre-period между A и B?
A
CUPED (Controlled-experiment Using Pre-Experiment Data) всегда делает uplift в 2 раза больше.B
CUPED (Controlled-experiment Using Pre-Experiment Data) применим только к бинарным метрикам, а post-period - pre-period только к непрерывным.C
CUPED (Controlled-experiment Using Pre-Experiment Data) запрещает использовать confidence interval.D
CUPED (Controlled-experiment Using Pre-Experiment Data) подбирает оптимальный коэффициент theta для pre-period covariate, а post-period - pre-period соответствует фиксированному весу и может быть не оптимален по variance.Правильный ответ.
CUPED (Controlled-experiment Using Pre-Experiment Data) оценивает оптимальный вес theta для pre-period ковариаты; простое post - pre — это фиксированный вес и часто не оптимален по variance.Разбор
И post-period - pre-period, и CUPED (Controlled-experiment Using Pre-Experiment Data) пытаются учесть базовый уровень пользователя, чтобы уменьшить шум. Фиксированное вычитание означает, что вес pre-period задан заранее и может быть слишком большим или слишком маленьким. CUPED (Controlled-experiment Using Pre-Experiment Data) оценивает theta из данных, чтобы максимально снизить variance скорректированной метрики при корректных предпосылках. Поэтому в практике CUPED (Controlled-experiment Using Pre-Experiment Data) часто даёт более стабильную оценку.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика
conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →