Эксперимент завершён, эффект положительный, SRM (Sample Ratio Mismatch) нет, метрики стабильны. Какое решение по раскатке обычно считается наиболее практичным в проде?
AСделать раскатку через постепенное наращивание трафика с мониторингом страховочных метрик и готовым планом отката изменений
BСразу включить изменение на 100% трафика без мониторинга страховочных метрик и без готового плана отката после успешного теста
CСначала увеличить трафик до 100%, а страховочные метрики и план отката подключить позже, при появлении первых сигналов вреда
DПродолжать эксперимент на текущем трафике без изменения долей и считать это финальной формой раскатки фичи на аудиторию
Правильный ответ. Даже после успешного теста раскатку лучше делать постепенно, с мониторингом страховочных метрик и планом отката.
Разбор
Эксперимент обычно проходит на ограниченном трафике и в конкретных условиях, а при 100% могут проявиться проблемы масштаба или редкие баги. Поэтапное наращивание трафика снижает риск и даёт время наблюдать за страховочными метриками. Контрольный сегмент без изменений (удержанная группа) дополнительно помогает отслеживать долгосрочные эффекты и регрессии после выкатки. Резкая раскатка на 100% или бесконечный эксперимент игнорируют эти риски.
Проверь себя · 1/3разбор после ответа
Запустили
A/B-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин SRM (Sample Ratio Mismatch) применительно к этой ситуации?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →