В тесте primary metric растёт, но guardrail metric по ошибкам и крэшам ухудшается. Какое действие наиболее корректно?
AОстановить или откатить эксперимент и сначала исправить деградацию по
guardrail metricBИгнорировать
guardrail metric, раз primary metric растётCУвеличить трафик в
treatment, чтобы быстрее «перебить» ошибки улучшениемDСчитать метрики только в будни, чтобы убрать шум
Правильный ответ.
guardrail metric — это ограничение риска: при ухудшении запуск опасен, даже если primary metric улучшается.Разбор
Смысл guardrail metric — защищать качество продукта и стабильность. Рост primary metric может быть краткосрочным и не оправдывать ухудшение ошибок или крашей. Правильный процесс — остановить воздействие, локализовать проблему и повторить проверку после исправления.
Проверь себя · 1/3разбор после ответа
В тесте
primary metric растёт, но guardrail metric по ошибкам и крэшам ухудшается. Какое действие наиболее корректно?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →