Вы сделали стратификацию по платформе при рандомизации A/B-теста. Какой эффект это даёт в первую очередь?
AГарантию положительного прироста основной метрики в группе B независимо от качества дизайна эксперимента и реального поведения пользователей
BБолее ровное распределение долей iOS и Android между группами A и B, что снижает дисперсию метрики и риск случайного перекоса по платформе
CАвтоматическое уменьшение уровня значимости, потому что стратификация формально делает критерий более строгим и компенсирует множественные сравнения
DПолную отмену необходимости применять методы снижения дисперсии в будущих тестах с похожим дизайном и составом аудитории
Правильный ответ. Стратификация по важному фактору (например, платформе) выравнивает состав групп A и B и уменьшает шум и риск случайного перекоса.
Разбор
Если платформа влияет на базовый уровень метрики, небольшой перекос долей iOS и Android между группами может создавать ложный прирост или скрывать настоящий эффект. Стратификация снижает этот риск, потому что баланс по платформе обеспечивается на уровне дизайна эксперимента. Это не гарантирует значимости и не отменяет CUPED, который снижает дисперсию через предтестовые ковариаты, и не меняет уровень значимости автоматически. Поэтому корректный ответ — про более ровный состав групп и снижение шума, а не про гарантии и автоматические корректировки.
Проверь себя · 1/3разбор после ответа
После применения
CUPED дисперсия метрики стала в 2 раза меньше. Что это примерно означает для размера выборки, чтобы детектировать тот же эффект при той же мощности?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
- Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
- Что означает блокирование (blocking) в дизайне `A/B`-теста?
- В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →