После успешного эксперимента вы делаете full rollout, но оставляете небольшой holdout (группа, удержанная от изменений). Зачем это обычно делают?
AЧтобы иметь постоянную контрольную группу и отслеживать регрессии или долгосрочные эффекты после выкатки
BЧтобы усилить
SRM (Sample Ratio Mismatch) и проверить устойчивость статистикиCЧтобы всегда получать p-value меньше 0.05 независимо от результата
DЧтобы ускорить сбор данных, так как
holdout (группа, удержанная от изменений) увеличивает трафикПравильный ответ.
Holdout позволяет сравнивать поведение после rollout с неизменённым контролем и ловить регрессии.Разбор
Даже если эксперимент был успешным, после выкатки могут появиться эффекты на другом трафике, в другое время или при росте нагрузки. Небольшой holdout (группа, удержанная от изменений) даёт эталон, с которым можно сравнить метрики на длительном горизонте. Это особенно полезно для редких событий и для метрик, которые проявляются постепенно. Это особенно полезно для редких событий и для эффектов, которые проявляются постепенно.
Проверь себя · 1/3разбор после ответа
Вы запустили
A/A test и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →