Во время ramp-up целевая метрика улучшилась, но guardrail‑метрика (например, crash rate) ухудшилась выше допустимого порога. Какое решение наиболее корректно?
AПродолжать
ramp-up, потому что целевая метрика важнее любых guardrailsBПриостановить или откатить rollout и разобраться в причине ухудшения guardrails, даже если целевая метрика растёт.
CСкрыть guardrails из отчёта, чтобы не мешали принятию решения
DУвеличить размер выборки, чтобы crash rate «усреднился»
Правильный ответ. Guardrail‑метрики нужны как стоп‑сигнал в
ramp-up, чтобы не допустить массового ущерба.Разбор
Целевая метрика может расти даже при серьёзных проблемах качества или стабильности, которые ударят по пользователям и бизнесу позже. Поэтому guardrails задают заранее и трактуют как ограничения: нарушили порог — остановились. Это позволяет безопасно сделать rollback и исправить проблему до расширения на 100% аудитории.
Проверь себя · 1/3разбор после ответа
Команда смотрит результаты каждый день и останавливает эксперимент, как только видит p-value < 0.05. Какой основной риск такого подхода?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →