В целом конверсия в заказ выросла, но по разрезу RU/KZ видно падение в RU и рост в KZ, при этом доля трафика по странам между группами отличается. Что корректнее сделать дальше?
AСмотреть только общую цифру и игнорировать сегменты, считая их шумными по природе и не влияющими на итоговое решение
BПроверить распределение трафика по странам как страховочные метрики и разобрать эффект по сегментам, учитывая риск парадокса Симпсона
CУдалить страну RU из анализа, чтобы общий результат не зависел от её локального падения и решение принималось чище
DПризнать победу варианта B по общему росту конверсии и не разбирать сегменты, потому что итог уже положительный
Правильный ответ. Эффект может быть искажён сдвигом состава аудитории, поэтому важно проверять сегменты и страховочные метрики по миксу.
Разбор
Агрегированный рост может возникнуть из-за того, что в одном варианте оказалось больше пользователей из сегмента с более высокой базовой конверсией. Это классический парадокс Симпсона: общий тренд противоречит трендам внутри сегментов. Практический шаг — проверить распределения по ключевым сегментам как страховочные метрики и разбирать результат по сегментам. Удаление страны или решение по общей цифре прячут реальный эффект и могут привести к ошибочному выкату.
Проверь себя · 1/3разбор после ответа
В тесте средний чек вырос, но количество заказов и доля повторных покупок снизились. Почему так могло случиться и что сделать первым делом?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →