После изменения поиска общий conversion rate вырос, но в ключевом segment возвращающихся пользователей conversion rate снизился. Как корректнее всего интерпретировать результат?
AНужно сообщить только общий рост и не показывать
segment, чтобы не путатьBНужно сообщить только падение в ключевом
segment и игнорировать общий ростCНужно объяснить оба факта: возможен
mix shift между segment, поэтому важно смотреть эффект like-for-like и принимать решение с учётом целиDЭто доказывает, что данные некорректны, потому что общий и
segment не могут различатьсяПравильный ответ. Общий результат и
segment результат могут расходиться из-за mix shift, поэтому важно уточнить, для какой аудитории принимается решение.Разбор
Если доля новых пользователей выросла, общий rate может улучшиться за счёт одного segment, при этом ключевой segment может пострадать. Решение о запуске зависит от продуктовой цели и ценности разных сегментов. Хорошая практика — показать разрезы по segment, их доли и выводы like-for-like.
Проверь себя · 1/3разбор после ответа
После запуска новой версии приложения общий
conversion rate упал. При этом выросла доля трафика на android (platform = android), а у android исторически ниже base rate. Какое объяснение наиболее правдоподобно без дополнительных данных?Ещё вопросы по теме «Сегментация и конфаундинг»
- После запуска новой версии приложения общий `conversion rate` упал. При этом выросла доля трафика на `android` (`platform` = `android`), а у `android` исторически ниже `base rate`. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете `conversion rate` между `channel` = `search` и `channel` = `social`. В `channel` = `search` заметно больше пользователей из `region` с высокой платежеспособностью. Какой наиболее вероятный `confounder` и что логично использовать как `control variable`?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше `retention` и `conversion rate`. Какая основная проблема такого вывода?
- В сегменте `ios` `conversion rate` вырос, и в сегменте `android` тоже вырос, но общий `conversion rate` по всем `users` снизился. Какое объяснение наиболее вероятно?
- Вы сравниваете `retention` между `region` A и `region` B. В `region` A больше пользователей из более «старых» когорт, а в `region` B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →