Вы сделали stratification по platform при randomization A/B теста. Какой эффект это даёт в первую очередь?
AГарантию, что
uplift будет положительным.BБолее ровное распределение
platform между A и B, что может уменьшить variance метрики и снизить риск случайного перекоса.CАвтоматическое уменьшение
alpha.DОтмену необходимости в
CUPED (Controlled-experiment Using Pre-Experiment Data) в любых тестах.Правильный ответ.
Stratification по важному фактору (например, platform) выравнивает состав A/B и может уменьшить шум и риск случайного перекоса.Разбор
Если platform влияет на базовый уровень метрики, небольшой перекос долей iOS/Android может создавать ложный uplift или скрывать настоящий effect. stratification снижает этот риск, потому что баланс обеспечивается на уровне дизайна. Это не гарантирует значимости, но часто делает результаты более стабильными.
Проверь себя · 1/3разбор после ответа
В методе
CUPED (Controlled-experiment Using Pre-Experiment Data) используется коэффициент theta. Как его обычно получают в практическом применении?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →