В каждом сегменте по device conversion rate снизился, но общий conversion rate вырос. Что сначала нужно проверить, чтобы понять ситуацию?

AПроверить сдвиг микса в долях segment по device и пересчитать сравнение like-for-like
BИгнорировать segment, потому что общий показатель всегда главный
CСразу обвинить трекинг, потому что такое не бывает
DЗаменить control variable на другой, чтобы результаты совпали
Правильный ответ. Когда общий результат противоречит каждому segment, частая причина в сдвиг микса и изменении весов.

Разбор

Общий показатель является смесью сегментов, и изменение долей может привести к неожиданному результату. Поэтому важно смотреть не только значения внутри segment, но и распределение аудитории. После проверки сдвиг микса полезно отчитать эффект как like-for-like, чтобы сравнение было честным.

Проверь себя · 1/3разбор после ответа
Релиз новой посадочной страницы был в пятницу, а сравнение сделали между субботой и четвергом и увидели падение conversion rate. Какой вероятный confounder делает сравнение нечестным?
Открыть Карьерник в Telegram

Ещё вопросы по теме «Сегментация и конфаундинг»