После запуска нового платного канала средняя длительность сессии упала. При этом внутри органического канала и внутри платного длительность почти не изменилась. Какое объяснение наиболее логичное?
AЭто значит, что продукт стал хуже для каждого сегмента, и общий показатель честно это отразил без искажений
BСкорее всего, произошло смещение состава: доля платного канала выросла, и общий показатель сместился из-за других весов сегментов
CЭто обязательно ошибка инструментирования, потому что смещение состава между каналами в принципе невозможно при корректных событиях
DЭто доказывает, что сегментный анализ бесполезен и от него нужно отказаться навсегда в пользу общих агрегатов
Правильный ответ. Если внутри сегмента метрика стабильна, а общий уровень меняется, частая причина — смещение состава.
Разбор
Общий показатель является смесью сегментных значений с весами, равными долям сегментов. Когда доли меняются, общий результат может измениться даже без изменений внутри сегментов. Поэтому важно мониторить состав аудитории и смотреть метрики на сопоставимом составе по сегменту. Объявлять это ошибкой инструментирования или отказываться от сегментации — значит терять контекст вместо того, чтобы его учитывать.
Проверь себя · 1/2разбор после ответа
Вы сравниваете ARPU между каналом A и каналом B и видите, что в канале A ARPU выше. При этом в канале A больше пользователей на iOS, которые обычно тратят больше. Что является вероятным смешивающим фактором и что нужно контролировать?
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →