В тесте средний чек вырос, но количество заказов и доля повторных покупок снизились. Почему так могло случиться и что сделать первым делом?
AСдвиг состава покупателей: проверить сегменты, страховочные метрики и нормализацию на пользователя
BРост среднего чека: тест успешен, дополнительные проверки только затянут принятие решения
CШум в остальных метриках: смотреть только на средний чек, остальное игнорировать
DРасхождение долей групп
SRM: перезапустить тест с правильной рандомизацией пользователейПравильный ответ. Средние показатели могут меняться из-за состава аудитории, поэтому нужно проверять сегменты и применять корректную нормализацию.
Разбор
Рост среднего чека может происходить не потому, что все стали покупать больше, а потому что часть пользователей с малыми покупками перестала покупать. Это типичная ловушка интерпретации, особенно при изменении ассортимента, цен или порога бесплатной доставки. Практично проверить страховочные метрики по воронке, разрезы по сегментам и метрики, нормализованные на пользователя или заказ, чтобы понять реальную динамику. Объявлять тест успешным или винить только SRM без проверок — обе крайности.
Проверь себя · 1/3разбор после ответа
Какое утверждение лучше всего описывает правильную работу со страховочными метриками в A/B тесте?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →