Что означает blocking в дизайне A/B теста?
AРазбить пользователей на блоки до эксперимента по важному признаку и рандомизировать внутри блоков.
BОстановить эксперимент при первом
p-value меньше alpha.CНазначать варианты по очереди
A, B, A, B без учёта признаков.DСформировать блоки по важному признаку (например,
platform) и выполнить randomization внутри каждого блока (blocking).Правильный ответ.
blocking снижает variance и риск дисбаланса, выполняя randomization внутри заранее заданных блоков.Разбор
Если platform или country сильно влияют на метрику, случайный перекос их долей между A и B добавляет шум. blocking (или stratification) делает так, что внутри каждого блока доли вариантов примерно одинаковы. Это уменьшает вариативность итоговой оценки и повышает мощность. Блоки нужно определять до запуска и не строить на post-period поведении.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика
conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Вы хотите применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) с `covariate` (ковариата — вспомогательная переменная) `pre-period` `sessions_per_user`, но данные `pre-period` есть только у части пользователей, и доля таких пользователей отличается между `A` и `B`. Какой главный риск?
- Все вопросы по «Снижение дисперсии и CUPED» →