В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент theta. Как его обычно получают на практике?
AОценивают
theta прямо по данным так, чтобы минимизировать дисперсию скорректированной метрикиBФиксируют
theta равным единице: такое значение считается стандартом метода CUPED во всех командахCПодбирают
theta вручную, чтобы p-value стал ниже уровня значимости и эффект оказался значимымDБерут
theta из прошлых аналогичных тестов без пересчёта для предотвращения утечки информации в экспериментПравильный ответ. В CUPED коэффициент
theta оценивают из данных так, чтобы максимально снизить дисперсию метрики и сохранить корректность.Разбор
Интуитивно theta показывает, насколько сильно стоит учитывать предтестовую ковариату при корректировке исхода. Его оценивают по стандартной процедуре (по сути коэффициент регрессии исхода на ковариату), не подгоняя под желаемый результат. Ручной подбор theta ради меньшего p-value превращает корректировку в подгонку и портит статистический вывод. Фиксировать единицу или брать значение из прошлых тестов тоже нельзя — оно зависит от конкретных данных.
Проверь себя · 1/3разбор после ответа
После применения
CUPED дисперсия метрики стала в 2 раза меньше. Что это примерно означает для размера выборки, чтобы детектировать тот же эффект при той же мощности?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →