Какой признак наиболее удачен для стратификации в A/B-тесте метрики конверсии, если известно, что тип платформы сильно влияет на базовый уровень?
AСтратификация по случайному числу для дополнительной балансировки независимо от заранее известных факторов влияния
BСтратификация по платформе iOS/Android как предтестовому фактору, заметно связанному с базовым уровнем конверсии
CСтратификация по флагу клика на новую кнопку из посттестового периода для усиления снижения дисперсии метрики
DСтратификация по сырому
p-value метрик из прошлых тестов на этой же аудитории как индикатору будущего эффектаПравильный ответ. Для стратификации подходят предэкспериментальные факторы, которые заметно влияют на метрику и не зависят от варианта.
Разбор
Хороший признак для стратификации объясняет различия пользователей и может уменьшить шум, но не должен зависеть от воздействия. Платформа часто влияет на базовый уровень конверсии, поэтому баланс по ней снижает риск случайного перекоса. Нельзя строить стратификацию по постпериодному поведению, потому что это приводит к утечке информации и может внести смещение оценки.
Проверь себя · 1/3разбор после ответа
В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент
theta. Как его обычно получают на практике?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →