Перед запуском вы хотите оценить потенциальный выигрыш от CUPED. Что вы проверите в первую очередь?
AТолько абсолютный уровень целевой метрики в группе
A как ключевой драйвер выигрыша от CUPEDBТолько длительность эксперимента:
CUPED даёт одинаковый выигрыш в любой задаче независимо от данныхCСвязь ковариаты на предпериоде с целевой метрикой на постпериоде, например через корреляцию
DБыл ли
SRM в прошлых экспериментах на этой аудитории как условие применимости CUPEDПравильный ответ. Чем выше связь ковариаты на предпериоде с исходом, тем больше снижение дисперсии от
CUPED.Разбор
Если ковариата на предпериоде хорошо предсказывает будущую метрику, она объясняет часть разброса между пользователями. CUPED убирает эту предсказуемую часть, поэтому стандартная ошибка падает и нужный размер выборки уменьшается. Если связи почти нет, корректировка мало что меняет и усложнение пайплайна не оправдано. Уровень метрики в группе A и наличие SRM в прошлых тестах сами по себе не определяют пользу CUPED.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в
CUPED, чтобы не получить утечку и смещение оценки?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →