Команда выбрала основной метрикой CTR по рекомендательным карточкам. В тесте CTR вырос, но продажи и выручка упали. Какой вывод наиболее вероятен?
AЭто обязательно
SRM, потому что CTR физически не может расти в эксперименте без сопоставимого роста продаж и выручкиBРезультат можно спокойно игнорировать, если защитные метрики не ухудшились: рост
CTR уже сам по себе считается достаточным успехомCНужно срочно убрать вторичные метрики из отчёта, чтобы они не мешали интерпретации основной метрики и итогового решения по тесту
DВы выбрали неподходящую основную метрику: её стоит приблизить к покупке, а
CTR оставить как вторичную метрику для контекстаПравильный ответ. Оптимизация по неверной основной метрике может улучшать клики, но ухудшать реальную ценность для продукта и бизнеса.
Разбор
Клики могут расти за счёт более агрессивных или «кликабельных» рекомендаций, которые не приводят к покупке. В таких случаях CTR лучше использовать как вторичную метрику, а основную метрику привязывать к конечной ценности — например, к покупке или выручке на пользователя. Это снижает риск «оптимизации не того» и метрик-ловушек.
Проверь себя · 1/3разбор после ответа
В тесте основная метрика выросла, но страховочные метрики показывают рост обращений в поддержку и падение рейтинга приложения. Какое решение наиболее корректно?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →