Команда выбрала primary metric — CTR по рекомендательным карточкам. В тесте CTR вырос, но продажи и выручка упали. Какой вывод наиболее вероятен?
AВы выбрали не тот
primary metric: нужно приблизить OEC к покупке, а CTR оставить как secondary metricsBЭто обязательно
SRM (Sample Ratio Mismatch), потому что CTR не может расти без продажCРезультат можно игнорировать, если
guardrail metrics не ухудшилисьDНужно срочно убрать
secondary metrics, чтобы они не мешалиПравильный ответ. Оптимизация по неверной
primary metric может улучшать клики, но ухудшать реальную ценность для продукта и бизнеса.Разбор
Клики могут расти за счёт более агрессивных или «кликабельных» рекомендаций, которые не приводят к покупке. В таких случаях CTR лучше использовать как secondary metrics, а primary metric или OEC привязывать к конечной ценности, например к покупке или выручке на пользователя. Это снижает риск «оптимизации не того» и метрик-ловушек.
Проверь себя · 1/3разбор после ответа
В тесте новый онбординг улучшил
primary metric (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать secondary metrics в такой ситуации?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →