В целом конверсия в заказ выросла, но по разрезу RU/KZ видно падение в RU и рост в KZ, при этом доля трафика по странам между группами отличается. Что корректнее сделать дальше?

AСмотреть только общий результат: сегменты всегда шумные
BПроверить сегменты и микс аудитории, убедиться, что invariant metrics по составу не нарушены, и интерпретировать эффект с учётом возможного эффекта смешения
CУдалить страну RU из анализа, чтобы не мешала
DПризнать победу варианта B, потому что общий показатель вырос
Правильный ответ. Эффект может быть искажён сдвигом состава аудитории, поэтому важно проверять сегменты и invariant metrics по миксу.

Разбор

Агрегированный рост может возникнуть из-за того, что в одном варианте оказалось больше пользователей из сегмента с более высокой базовой конверсией. Это похоже на эффект смешения, известный как парадокс Симпсона. Практический шаг — проверить распределения по ключевым сегментам как invariant metrics и разбирать результат по сегментам, а не принимать решение только по общей цифре.

Проверь себя · 1/3разбор после ответа
Команда выбрала primary metricCTR по рекомендательным карточкам. В тесте CTR вырос, но продажи и выручка упали. Какой вывод наиболее вероятен?
Тренировать A/B в Telegram

Ещё вопросы по теме «Метрики и guardrail-метрики»