После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?

AНовая версия ухудшила опыт у части пользователей определённого сегмента, и общее падение конверсии полностью объясняется этим внутрисегментным эффектом
BИзменилась структура трафика по платформам: доля сегмента с более низким базовым уровнем выросла, поэтому общая конверсия снизилась без падения внутри сегментов
CПадение целиком объясняется ошибкой логирования событий: при корректной выгрузке данных конверсия по обоим сегментам платформы осталась бы прежней
DЭффект вызван сезонностью трафика: изменение конверсии связано с днём недели и не имеет отношения ни к составу платформ, ни к самому релизу
Правильный ответ. Падение общего показателя может быть следствием смены структуры аудитории, а не ухудшения внутри каждого сегмента.

Разбор

Если доля сегмента с более низким базовым уровнем выросла, общая конверсия может снизиться даже при стабильности внутри сегментов. Это частая ситуация, когда меняется состав по платформам или источникам трафика. Чтобы проверить, нужно сравнить метрику на сопоставимых данных — посчитать конверсию отдельно по каждому сегменту и посмотреть изменения внутри. Утверждения «всегда ухудшилось во всех сегментах», «при рандомизации это невозможно» или «контролировать только устройство» игнорируют сам механизм смены структуры аудитории.

Проверь себя · 1/2разбор после ответа
Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
Открыть Карьерник в Telegram

Ещё вопросы по теме «Сегментация и конфаундинг»