Аналитик попробовал 8 разных ковариат для CUPED и выбрал ту, при которой получился самый маленький p-value для эффекта. Что в этом подходе наиболее проблемно?
AЭто всегда безопасно, потому что
CUPED сам по себе не влияет на p-value и итоговую вероятность ошибки I рода в экспериментеBЭто увеличивает только риск ошибки II рода и никак не сказывается на ошибке I рода, поскольку ковариата работает лишь на снижение дисперсии
CЭто фактически перебор аналитических решений и может увеличить риск ложноположительных выводов, если ковариату не зафиксировать заранее
DПроблема только в скорости расчётов и удобстве, а на статистические выводы выбор ковариаты по
p-value влияния не оказываетПравильный ответ. Выбор ковариаты постфактум по минимальному
p-value — это перебор аналитических решений и рост риска ложноположительных выводов.Разбор
Когда вы пробуете много вариантов и выбираете самый удачный по p-value, вы по сути делаете множественные проверки. Даже при отсутствии реального эффекта можно случайно найти настройку, которая выглядит значимой. Чтобы избежать этого, ковариату и метод снижения дисперсии лучше зафиксировать до эксперимента или использовать отдельные данные для выбора. Иначе результаты становятся менее надёжными и хуже воспроизводятся.
Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент
theta. Как его обычно получают на практике?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →