В тесте основная метрика выросла, но страховочные метрики показывают рост обращений в поддержку и падение рейтинга приложения. Какое решение наиболее корректно?
AВыкатить вариант: основная метрика выросла значимо, и этого обычно достаточно для решения о запуске.
BВыкатить вариант, как только рост основной метрики стал статистически значимым по тесту.
CНе выкатывать или приостановить тест и разобраться с причиной ухудшения страховочных метрик.
DСчитать ухудшение страховочных метрик допустимым, если визуально на графиках оно выглядит небольшим.
Правильный ответ. Страховочные метрики защищают от запуска изменений с побочным вредом: их ухудшение — повод не выкатывать вариант и разобраться в причине.
Разбор
Страховочные метрики (рейтинг приложения, обращения в поддержку, отписки) специально подобраны как сигналы скрытого вреда от изменения. Если основная метрика выросла, но они проседают, это часто означает, что выигрыш в одной части продукта оплачен ухудшением другой — итоговая ценность для бизнеса под вопросом. Корректный шаг — приостановить раскатку, понять, что именно ломается, и решать на полной картине, а не только по одной метрике. Выкатывать «потому что главная метрика всегда важнее» или «на глаз страховочные просели несильно» — типичный путь к деградации продукта.
Проверь себя · 1/3разбор после ответа
Во время эксперимента маркетинг привёл больше трафика, поэтому общая выручка выросла в обеих группах. Какая метрика лучше подойдёт для сравнения вариантов с поправкой на разный объём трафика?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →