В каждом сегменте по устройству конверсия снизилась, но общая конверсия выросла. Что сначала нужно проверить, чтобы понять ситуацию?
AПроверить сдвиг микса в долях устройств между сегментами и пересчитать сравнение на одинаковой структуре аудитории, чтобы исключить эффект перевзвешивания
BИгнорировать разрезы по устройствам, потому что общий показатель конверсии всегда главный и отражает поведение всей аудитории по продукту в целом
CСразу обвинить трекинг и логирование событий, потому что такого расхождения общей и сегментных конверсий просто не бывает в корректных данных
DЗаменить контрольную переменную в анализе на другой признак сегментации, чтобы значения общей и сегментных конверсий совпали и не противоречили друг другу
Правильный ответ. Когда общий результат противоречит каждому сегменту, частая причина в сдвиге микса и изменении весов сегментов внутри общей выборки.
Разбор
Общий показатель является смесью сегментов, и изменение долей может привести к неожиданному результату. Поэтому важно смотреть не только значения внутри сегмента, но и распределение аудитории. После проверки сдвига микса полезно отчитать эффект на одинаковой структуре, чтобы сравнение было честным. Замена контрольной переменной или обвинение трекинга без проверки долей не объясняют парадокс.
Проверь себя · 1/2разбор после ответа
Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →