В целом конверсия в заказ выросла, но по разрезу RU/KZ видно падение в RU и рост в KZ, при этом доля трафика по странам между группами отличается. Что корректнее сделать дальше?
AСмотреть только общий результат: сегменты всегда шумные
BПроверить сегменты и микс аудитории, убедиться, что
invariant metrics по составу не нарушены, и интерпретировать эффект с учётом возможного эффекта смешенияCУдалить страну RU из анализа, чтобы не мешала
DПризнать победу варианта B, потому что общий показатель вырос
Правильный ответ. Эффект может быть искажён сдвигом состава аудитории, поэтому важно проверять сегменты и
invariant metrics по миксу.Разбор
Агрегированный рост может возникнуть из-за того, что в одном варианте оказалось больше пользователей из сегмента с более высокой базовой конверсией. Это похоже на эффект смешения, известный как парадокс Симпсона. Практический шаг — проверить распределения по ключевым сегментам как invariant metrics и разбирать результат по сегментам, а не принимать решение только по общей цифре.
Проверь себя · 1/3разбор после ответа
Команда выбрала
primary metric — CTR по рекомендательным карточкам. В тесте CTR вырос, но продажи и выручка упали. Какой вывод наиболее вероятен?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →