После изменения поиска общая конверсия выросла, но в ключевом сегменте возвращающихся пользователей конверсия снизилась. Как корректнее всего интерпретировать результат?
AСообщить только общий рост конверсии и не показывать разрезы по сегментам, чтобы не запутать аудиторию противоречивыми цифрами
BСообщить только падение в ключевом сегменте возвращающихся и проигнорировать общий рост, чтобы не оправдывать запуск
CОбъяснить оба факта: возможен сдвиг состава между сегментами, поэтому важно смотреть эффект сопоставимо и принимать решение с учётом цели
DСчитать, что данные некорректны, потому что общая конверсия и сегментная конверсия не могут расходиться в принципе
Правильный ответ. Общий результат и результат по сегменту могут расходиться из-за сдвига состава, поэтому важно уточнить, для какой аудитории принимается решение.
Разбор
Если доля новых пользователей выросла, общая конверсия может улучшиться за счёт одного сегмента, при этом ключевой сегмент может пострадать. Решение о запуске зависит от продуктовой цели и ценности разных сегментов. Хорошая практика — показать разрезы по сегментам, их доли и сопоставимые выводы по одинаковым подгруппам.
Проверь себя · 1/2разбор после ответа
Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →