Во время постепенной раскатки целевая метрика улучшилась, но страховочная метрика (например, доля сбоев) ухудшилась выше допустимого порога. Какое решение наиболее корректно?
AПриостановить или откатить раскатку и разобраться в причине ухудшения страховочной метрики до решения по дальнейшему этапу
BПродолжать раскатку как запланировано, опираясь на улучшение целевой метрики и считая просадку страховочной временным шумом
CПеренести анализ страховочной метрики на финальный этап выкатки и принимать решение только по целевой метрике на текущем этапе
DУвеличить размер выборки на текущей доле трафика и продолжить наблюдение, ожидая что значение страховочной вернётся к норме
Правильный ответ. Страховочные метрики работают как стоп‑сигнал в раскатке, чтобы не допустить массового ущерба.
Разбор
Целевая метрика может расти даже при серьёзных проблемах со стабильностью или качеством, которые ударят по пользователям и бизнесу позже. Поэтому страховочные метрики задают заранее и трактуют как ограничения: пробили порог — остановились. Это позволяет безопасно откатить изменение и разобраться с причиной до расширения на всю аудиторию. Скрывать метрики или ждать «усреднения» — антипаттерны, которые приводят к накоплению ущерба.
Проверь себя · 1/3разбор после ответа
Команда смотрит результаты каждый день и останавливает эксперимент, как только видит p-value < 0.05. Какой основной риск такого подхода?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →