Перед запуском вы хотите оценить потенциальный выигрыш от CUPED (Controlled-experiment Using Pre-Experiment Data). Что вы проверите в первую очередь?
AТолько абсолютный уровень метрики в группе
A.BТолько длительность эксперимента,
CUPED (Controlled-experiment Using Pre-Experiment Data) одинаково полезен всегда.CНасколько
pre-period covariate связана с целевой метрикой в post-period (например, корреляция).DНаличие
SRM (Sample Ratio Mismatch) в прошлых экспериментах.Правильный ответ. Чем выше связь
pre-period covariate с исходом, тем больше variance reduction от CUPED (Controlled-experiment Using Pre-Experiment Data).Разбор
Если covariate хорошо предсказывает будущую метрику, она объясняет часть разброса между пользователями. CUPED (Controlled-experiment Using Pre-Experiment Data) убирает предсказуемую часть и оставляет меньше шума, поэтому standard error падает. Если связь почти отсутствует, корректировка мало что меняет и может быть не стоит усложнения пайплайна.
Проверь себя · 1/3разбор после ответа
В методе
CUPED (Controlled-experiment Using Pre-Experiment Data) используется коэффициент theta. Как его обычно получают в практическом применении?Ещё вопросы по теме «Снижение дисперсии и CUPED»
- Зачем в `A/B` тестах применяют методы `variance reduction` вроде `CUPED` (Controlled-experiment Using Pre-Experiment Data)?
- Какие данные нужны, чтобы применить `CUPED` (Controlled-experiment Using Pre-Experiment Data) в эксперименте по метрике `revenue_per_user`?
- Вы тестируете новый экран, целевая метрика `conversion`. Какую `covariate` (ковариата — вспомогательная переменная) нельзя использовать в `CUPED` (Controlled-experiment Using Pre-Experiment Data), чтобы не получить `leakage` (утечка данных между группами) и `bias`?
- Что означает `blocking` в дизайне `A/B` теста?
- В эксперименте метрика `conversion` сильно различается у `new_users` и `returning_users`, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
- Все вопросы по «Снижение дисперсии и CUPED» →