В тесте новый онбординг улучшил primary metric (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать secondary metrics в такой ситуации?
AИгнорировать
secondary metrics, если primary metric значимо выросBЗаменить
primary metric на повторные визиты и пересчитать тест «как будто так и было»CИспользовать
secondary metrics для диагностики и оценки компромиссов, прежде чем принимать решение о запускеDСчитать
secondary metrics как invariant metrics, потому что они не должны менятьсяПравильный ответ.
secondary metrics нужны, чтобы понимать последствия и механизмы, даже если primary metric показывает рост.Разбор
Рост primary metric не гарантирует, что пользовательский опыт и долгосрочная ценность не ухудшились. secondary metrics помогают увидеть, где именно возникает проблема, и оценить, приемлем ли компромисс. Часто по ним принимают решение о доработке, ограниченном запуске или выборе другого дизайна эксперимента.
Проверь себя · 1/3разбор после ответа
Перед анализом результата вы проверяете
invariant metrics. Какая метрика чаще всего является invariant metrics в онлайн A/B тесте?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Вы меняете текст про доставку на чекауте; `primary metric` — конверсия в заказ. Какую метрику логичнее поставить как `guardrail metrics`, чтобы контролировать риск для бизнеса?
- Все вопросы по «Метрики и guardrail-метрики» →