Вы тестируете купон: primary metric была «число заказов». Заказы выросли, но маржа заметно упала. Как корректнее пересобрать метрики на будущее?
AОставить «число заказов» как единственный критерий, ведь это рост
BСделать
primary metric «средний чек», потому что он ближе к деньгамCСделать
primary metric ближе к ценности, например прибыль/маржа на пользователя как OEC, а число заказов оставить как secondary metrics и добавить ограничения через guardrail metricsDИгнорировать маржу, потому что
secondary metrics не важныПравильный ответ. Метрики должны отражать цель эксперимента и защищать бизнес через
guardrail metrics, иначе возможна «оптимизация не того».Разбор
Купоны часто увеличивают количество заказов за счёт скидок, но ухудшают прибыльность. Если бизнес-цель — улучшить итоговую ценность, то OEC и primary metric должны быть ближе к прибыли или марже, а заказы и средний чек полезнее как secondary metrics. Дополнительно ставят guardrail metrics, чтобы не допустить критического падения маржинальности или роста возвратов.
Проверь себя · 1/3разбор после ответа
Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как
guardrail metrics?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →