После применения CUPED (Controlled-experiment Using Pre-Experiment Data) для метрики revenue_per_user вы получили оценку effect +0.15. Как корректнее всего интерпретировать этот результат?

AНельзя интерпретировать в деньгах, потому что CUPED (Controlled-experiment Using Pre-Experiment Data) меняет единицы измерения.
BЭто оценка разницы по CUPED (Controlled-experiment Using Pre-Experiment Data)-скорректированной метрике в тех же единицах; интерпретировать нужно вместе с confidence interval.
CЭто вероятность того, что H0 неверна.
DЭто означает, что pre-period выручка выросла на 0.15.
Правильный ответ. CUPED (Controlled-experiment Using Pre-Experiment Data) сохраняет единицы метрики; выводы (CI/тест) нужно строить по скорректированной метрике и оценивать практическую значимость.

Разбор

CUPED (Controlled-experiment Using Pre-Experiment Data) строит новый исход, корректируя его на pre-period covariate, но измерения остаются в тех же единицах (например, деньги на пользователя). Поэтому разницу между A и B можно сравнивать с бизнес-порогом. Важно строить confidence interval и тест по скорректированной метрике, потому что меняется variance. Если интервал узкий и лежит ниже порога полезности, это сигнал о слабой практической ценности.

Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»