После применения CUPED (Controlled-experiment Using Pre-Experiment Data) variance метрики стала в 2 раза меньше. Что это примерно означает для нужного размера выборки, чтобы детектировать тот же effect при той же мощности?
AНужна в 2 раза большая выборка.
BВыборка не изменится, потому что
CUPED (Controlled-experiment Using Pre-Experiment Data) влияет только на среднее.CНужна в 4 раза меньшая выборка.
DНужна примерно в 2 раза меньшая выборка, потому что требуемый объём часто масштабируется примерно пропорционально
variance.Правильный ответ. Если
variance стала в 2 раза меньше, то для детекта того же эффекта часто нужно примерно в 2 раза меньше наблюдений (приближённо N ~ variance).Разбор
Если вы уменьшили variance в 2 раза, то standard error обычно падает, а сигнал легче отделить от шума. Поэтому для детекта того же effect часто требуется примерно в 2 раза меньше наблюдений. Это приближение: точная экономия зависит от распределения метрики, дизайна теста и выбранного критерия.
Проверь себя · 1/3разбор после ответа
Эксперимент проводится на офлайн-точках, а метрика
revenue сильно зависит от store и day-of-week. Как корректнее применить blocking при назначении A и B?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →