После применения CUPED дисперсия метрики стала в 2 раза меньше. Что это примерно означает для размера выборки, чтобы детектировать тот же эффект при той же мощности?
AНужна примерно в 2 раза большая выборка, потому что меньшая дисперсия снижает чувствительность теста к эффекту
BРазмер выборки не изменится, потому что
CUPED влияет только на оценку среднего, а не на её разбросCНужна примерно в 4 раза меньшая выборка, потому что объём масштабируется как квадрат отношения дисперсий
DНужна примерно в 2 раза меньшая выборка, потому что требуемый объём примерно пропорционален дисперсии метрики
Правильный ответ. Если дисперсия упала в 2 раза, для детекта того же эффекта часто нужно примерно в 2 раза меньше наблюдений (приближённо
N ~ variance).Разбор
Если дисперсия уменьшилась в 2 раза, стандартная ошибка обычно падает, и сигнал легче отделить от шума. Поэтому для детекта того же эффекта часто требуется примерно в 2 раза меньше наблюдений. Это приближение: точная экономия зависит от распределения метрики, дизайна теста и выбранного критерия. Уменьшение в 4 раза предполагало бы пропорциональность объёма квадрату дисперсии, что не соответствует формуле размера выборки.
Проверь себя · 1/3разбор после ответа
Перед запуском вы хотите оценить потенциальный выигрыш от
CUPED. Что вы проверите в первую очередь?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →