Вы тестируете купон: основной метрикой было «число заказов». Заказы выросли, но маржа заметно упала. Как корректнее пересобрать метрики на будущее?
AОставить число заказов как единственный критерий успеха: рост заказов уже доказывает, что купонная механика работает в долгосрочной перспективе
BСделать основной метрикой средний чек: он ближе к деньгам, чем заказы, и автоматически защищает маржу при любых купонных и скидочных кампаниях
CИгнорировать падение маржи: вспомогательные метрики не важны, если основная метрика растёт, а защитные метрики избыточны для купонных тестов
DСделать основной метрикой прибыль/маржу на пользователя, заказы перевести в дополнительные метрики и добавить защитные метрики на маржинальность и возвраты
Правильный ответ. Метрики должны отражать цель эксперимента и защищать бизнес через защитные метрики, иначе возможна «оптимизация не того».
Разбор
Купоны часто увеличивают количество заказов за счёт скидок, но ухудшают прибыльность. Если бизнес-цель — улучшить итоговую ценность, то основная метрика должна быть ближе к прибыли или марже, а заказы и средний чек полезнее как дополнительные. Дополнительно ставят защитные метрики, чтобы не допустить критического падения маржинальности или роста возвратов: средний чек сам по себе тоже легко обмануть скидочной механикой.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →