В тесте основная метрика выросла, но страховочные метрики показывают рост обращений в поддержку и падение рейтинга приложения. Какое решение наиболее корректно?

AВыкатить вариант: основная метрика выросла значимо, и этого обычно достаточно для решения о запуске.
BВыкатить вариант, как только рост основной метрики стал статистически значимым по тесту.
CНе выкатывать или приостановить тест и разобраться с причиной ухудшения страховочных метрик.
DСчитать ухудшение страховочных метрик допустимым, если визуально на графиках оно выглядит небольшим.
Правильный ответ. Страховочные метрики защищают от запуска изменений с побочным вредом: их ухудшение — повод не выкатывать вариант и разобраться в причине.

Разбор

Страховочные метрики (рейтинг приложения, обращения в поддержку, отписки) специально подобраны как сигналы скрытого вреда от изменения. Если основная метрика выросла, но они проседают, это часто означает, что выигрыш в одной части продукта оплачен ухудшением другой — итоговая ценность для бизнеса под вопросом. Корректный шаг — приостановить раскатку, понять, что именно ломается, и решать на полной картине, а не только по одной метрике. Выкатывать «потому что главная метрика всегда важнее» или «на глаз страховочные просели несильно» — типичный путь к деградации продукта.

Проверь себя · 1/3разбор после ответа
Во время эксперимента маркетинг привёл больше трафика, поэтому общая выручка выросла в обеих группах. Какая метрика лучше подойдёт для сравнения вариантов с поправкой на разный объём трафика?
Тренировать A/B в Telegram

Ещё вопросы по теме «Метрики и guardrail-метрики»