После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
AНовая версия ухудшила опыт у части пользователей определённого сегмента, и общее падение конверсии полностью объясняется этим внутрисегментным эффектом
BИзменилась структура трафика по платформам: доля сегмента с более низким базовым уровнем выросла, поэтому общая конверсия снизилась без падения внутри сегментов
CПадение целиком объясняется ошибкой логирования событий: при корректной выгрузке данных конверсия по обоим сегментам платформы осталась бы прежней
DЭффект вызван сезонностью трафика: изменение конверсии связано с днём недели и не имеет отношения ни к составу платформ, ни к самому релизу
Правильный ответ. Падение общего показателя может быть следствием смены структуры аудитории, а не ухудшения внутри каждого сегмента.
Разбор
Если доля сегмента с более низким базовым уровнем выросла, общая конверсия может снизиться даже при стабильности внутри сегментов. Это частая ситуация, когда меняется состав по платформам или источникам трафика. Чтобы проверить, нужно сравнить метрику на сопоставимых данных — посчитать конверсию отдельно по каждому сегменту и посмотреть изменения внутри. Утверждения «всегда ухудшилось во всех сегментах», «при рандомизации это невозможно» или «контролировать только устройство» игнорируют сам механизм смены структуры аудитории.
Проверь себя · 1/2разбор после ответа
Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
Ещё вопросы по теме «Сегментация и конфаундинг»
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Вы хотите сравнить конверсию между iOS и Android, но подозреваете, что в iOS больше трафика из канала email. Какой способ контроля смешивающего фактора наиболее корректен?
- Все вопросы по «Сегментация и конфаундинг» →