После применения CUPED для метрики revenue_per_user вы получили оценку эффекта +0.15. Как корректнее всего интерпретировать этот результат?
AЭто вероятность того, что нулевая гипотеза верна; в деньгах интерпретировать нельзя без перевода через эластичность спроса.
BПосле
CUPED единицы измерения становятся условными, поэтому +0.15 нужно нормировать на стандартное отклонение базовой метрики.CЭто оценка прироста скорректированной по
CUPED метрики в исходных единицах (рубли на пользователя); смотреть вместе с доверительным интервалом.DЭто означает, что предэкспериментальная выручка выросла на 0.15 рубля, а не разница между группами в эксперименте.
Правильный ответ.
CUPED сохраняет единицы метрики; выводы (доверительный интервал и тест) нужно строить по скорректированной метрике и оценивать практическую значимость.Разбор
CUPED строит новый исход, корректируя его на предэкспериментальную ковариату, но измерения остаются в тех же единицах (например, рубли на пользователя). Поэтому разницу между группами A и B можно сравнивать с бизнес-порогом в исходных единицах. Важно строить доверительный интервал и тест именно по скорректированной метрике, потому что меняется дисперсия. Если интервал узкий и лежит ниже порога полезности, это сигнал о слабой практической ценности эффекта.
Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент
theta. Как его обычно получают на практике?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →