В тесте средний чек вырос, но количество заказов и доля повторных покупок снизились. Почему так могло случиться и что сделать первым делом?
AСредний чек вырос, значит тест точно успешен, дополнительные проверки не нужны
BНужно смотреть только средний чек, остальные метрики — шум
CЭто всегда признак
SRM (Sample Ratio Mismatch), не нужно разбираться дальшеDВозможен сдвиг состава: «маленькие» покупатели стали покупать реже; проверьте сегменты,
secondary metrics и используйте normalization на пользователя/заказПравильный ответ. Средние показатели могут меняться из-за состава аудитории, поэтому нужно проверять сегменты и использовать корректную
normalization.Разбор
Рост среднего чека может происходить не потому, что все стали покупать больше, а потому что часть пользователей с малыми покупками перестала покупать. Это типичная ловушка интерпретации, особенно при изменении ассортимента, цен или порога бесплатной доставки. Практично проверить secondary metrics по воронке, разрезы по сегментам и метрики, нормализованные на пользователя или заказ, чтобы понять реальную динамику.
Проверь себя · 1/3разбор после ответа
Вы меняете текст про доставку на чекауте;
primary metric — конверсия в заказ. Какую метрику логичнее поставить как guardrail metrics, чтобы контролировать риск для бизнеса?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →