В эксперименте обнаружили несоответствие долей групп: доля пользователей в варианте B заметно выше ожидаемой. Поможет ли CUPED решить эту проблему?
AНет:
CUPED снижает дисперсию метрики, но не исправляет проблемы рандомизации; сначала нужно найти причину дисбаланса группBДа:
CUPED автоматически выравнивает доли пользователей в группах за счёт снижения дисперсии метрики при анализеCДа, если выбрать ковариату из предтестового периода, она компенсирует разницу долей между вариантами в эксперименте
DНет: но стратификация после факта эксперимента полностью чинит дисбаланс долей и возвращает их к ожидаемому распределению
Правильный ответ. Нет:
CUPED снижает дисперсию при корректной рандомизации, но не исправляет проблемы назначения трафика по группам.Разбор
Несоответствие долей групп обычно сигнализирует о проблеме в назначении вариантов или в трекинге событий. Если базовая рандомизация сломана, любые методы снижения дисперсии, включая CUPED, не гарантируют корректности и могут дать вводящие в заблуждение результаты. Поэтому сначала проверяют источники несоответствия, а уже потом применяют CUPED для повышения точности оценки эффекта.
Проверь себя · 1/3разбор после ответа
Перед запуском вы хотите оценить потенциальный выигрыш от
CUPED. Что вы проверите в первую очередь?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →