В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
AИгнорировать вторичные метрики, раз основная метрика выросла значимо: рост активации сам по себе достаточен
BЗаменить основную метрику на повторные визиты и пересчитать тест задним числом, чтобы получить нужный результат
CИспользовать вторичные метрики для диагностики и оценки компромиссов, прежде чем принимать решение о запуске
DСчитать вторичные метрики инвариантными, потому что они не должны меняться при любом тестируемом изменении
Правильный ответ. Вторичные метрики нужны, чтобы понимать последствия и механизмы, даже если основная метрика растёт.
Разбор
Рост основной метрики не гарантирует, что пользовательский опыт и долгосрочная ценность не ухудшились. Вторичные метрики помогают увидеть, где именно возникает проблема, и оценить, приемлем ли компромисс. Часто по ним принимают решение о доработке, ограниченном запуске или выборе другого дизайна эксперимента. Менять основную метрику задним числом или путать её с инвариантной — типичные ошибки анализа.
Проверь себя · 1/3разбор после ответа
В тесте средний чек вырос, но количество заказов и доля повторных покупок снизились. Почему так могло случиться и что сделать первым делом?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Вы меняете текст про доставку на странице оформления заказа; основная метрика — конверсия в заказ. Какую метрику логичнее поставить как страховочную, чтобы контролировать риск для бизнеса?
- Все вопросы по «Метрики и guardrail-метрики» →