В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
AСделать стратификацию по новым и возвращающимся пользователям и раздавать варианты A и B внутри каждого слоя сегмента
BЗапустить тест без стратификации и анализировать разрезы по новым и возвращающимся уже после набора достаточного объёма
CИспользовать
CUPED и взять конверсию из периода после теста как ковариату для коррекции основной метрики экспериментаDПолностью исключить новых пользователей из эксперимента, чтобы автоматически уменьшить дисперсию итоговой оценки эффекта
Правильный ответ. Стратификация по важному сегменту делает состав групп более ровным и снижает шум оценки эффекта.
Разбор
Если сегменты имеют разные базовые уровни конверсии, случайный перекос долей сегментов между A и B может имитировать эффект. Стратификация обеспечивает баланс сегментов в каждой группе и часто даёт заметное снижение дисперсии. Это особенно полезно при ограниченном трафике или когда сегменты сильно различаются по поведению.
Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент
theta. Как его обычно получают на практике?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- Вы хотите применить `CUPED` с ковариатой `sessions_per_user` за период до эксперимента, но эти данные есть только у части пользователей, и доля таких пользователей различается между группами A и B. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →