Вы посчитали скорректированную метрику через CUPED (Controlled-experiment Using Pre-Experiment Data). Как корректно строить доверительный интервал и проверять эффект?
AМожно оставить старый доверительный интервал по исходной метрике, ведь среднее формально не изменилось после поправки.
BДостаточно тестировать только период до эксперимента, а данные из периода эксперимента игнорировать при сравнении.
CМожно умножить старое значение
p-value на коэффициент theta и считать это корректной поправкой неопределённости.DНужно пересчитать дисперсию и стандартную ошибку уже на скорректированной метрике и строить доверительный интервал и тест по ней.
Правильный ответ. После
CUPED нужно оценивать дисперсию и стандартную ошибку у скорректированной метрики и строить доверительный интервал и тест по ней.Разбор
CUPED снижает дисперсию исхода за счёт ковариаты до эксперимента, поэтому старые оценки неопределённости больше не подходят. Правильный путь: рассчитать скорректированную метрику, оценить её дисперсию и стандартную ошибку, а затем построить доверительный интервал и тест для разницы между группами A и B. Это сохраняет корректность статистических выводов и отражает реальный выигрыш от снижения дисперсии. Если использовать старые интервалы или вручную пересчитывать p-value через theta, легко получить неверные выводы.
Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент
theta. Как его обычно получают на практике?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →