Вы посчитали CUPED (Controlled-experiment Using Pre-Experiment Data)-скорректированную метрику. Как корректно строить confidence interval и тестировать effect?

AМожно использовать старый confidence interval для исходной метрики, потому что среднее не изменилось.
BНужно тестировать только pre-period, а post-period игнорировать.
CДостаточно умножить старый p-value на коэффициент theta.
DНужно считать standard error и variance уже для скорректированной метрики и строить confidence interval и тест на её основе.
Правильный ответ. После CUPED (Controlled-experiment Using Pre-Experiment Data) нужно оценивать variance/standard error уже у скорректированной метрики и строить confidence interval и тест по ней.

Разбор

CUPED (Controlled-experiment Using Pre-Experiment Data) меняет распределение исхода и прежде всего снижает variance, поэтому старые оценки неопределённости не подходят. Правильный путь: рассчитать скорректированную метрику, затем оценить её standard error и построить confidence interval и тест для разницы между A и B. Это сохраняет корректность статистических выводов и отражает реальный выигрыш от variance reduction. Если использовать старые интервалы или пытаться пересчитать p-value вручную через theta, легко получить неправильные выводы.

Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»