Вы выбираете окно pre-period для CUPED (Controlled-experiment Using Pre-Experiment Data). Какое правило самое важное, чтобы избежать leakage (утечка данных между группами) и bias?

Apre-period должен пересекаться с экспериментом, чтобы связь с post-period была выше.
Bpre-period должен быть полностью до старта воздействия и считаться одинаково для всех пользователей, чтобы covariate не зависела от варианта.
Cpre-period должен быть как можно длиннее без ограничений, даже если в него попадают нерелевантные промо-периоды.
Dpre-period можно брать после запуска варианта, если это удобнее для расчёта.
Правильный ответ. Главное правило: pre-period полностью до воздействия и одинаково определён для всех; иначе возможны leakage (утечка данных между группами) и bias.

Разбор

Если pre-period пересекается с воздействием, covariate начинает зависеть от варианта, и корректировка может вычитать часть effect. Обычно окно pre-period выбирают сразу перед экспериментом и считают относительно момента назначения варианта. Также важно учитывать сезонность и события, которые могут ломать стабильность связи между pre-period и post-period. Чем аккуратнее определён pre-period, тем безопаснее применение CUPED (Controlled-experiment Using Pre-Experiment Data).

Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»