Вы меняете текст про доставку на странице оформления заказа; основная метрика — конверсия в заказ. Какую метрику логичнее поставить как страховочную, чтобы контролировать риск для бизнеса?
AСреднее число прокруток на странице с условиями доставки в течение одной сессии пользователя
BДоля заказов, по которым пользователи оформили отмену или возврат уже после оплаты заказа
CСредняя длительность пользовательской сессии в приложении за период проведения эксперимента
DОбщее число пользователей, попавших в эксперимент за всё время его проведения по обеим группам
Правильный ответ. Страховочные метрики выбирают так, чтобы они ловили опасные побочные эффекты от изменения, а не повторяли основную метрику.
Разбор
Изменение текста может «продавить» пользователей к покупке, но привести к разочарованию после оплаты. Рост отмен и возвратов сигнализирует, что мы ухудшили качество ожиданий или ввели людей в заблуждение. Поэтому такую метрику логично использовать как страховочную, ограничивая риск для бизнеса. Прокрутки и длительность сессии слишком далеки от риска ухудшения опыта после покупки, а число пользователей в эксперименте не описывает качество результата.
Проверь себя · 1/3разбор после ответа
В тесте основная метрика выросла, но страховочные метрики показывают рост обращений в поддержку и падение рейтинга приложения. Какое решение наиболее корректно?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →