После запуска новой версии приложения общий conversion rate упал. При этом выросла доля трафика на android (platform = android), а у android исторически ниже base rate. Какое объяснение наиболее правдоподобно без дополнительных данных?
AСработал
mix shift: изменились веса segment по platform, поэтому общий rate мог упастьBНовая версия точно ухудшила опыт для каждого
segmentCЭто невозможно при
randomization, значит метрика посчитана неправильноDЗначит, в
control variable всегда должен быть только deviceПравильный ответ. Падение общего результата может быть следствием
mix shift, а не ухудшения внутри каждого segment.Разбор
Если доля segment с более низким base rate выросла, общий rate может снизиться даже при стабильности внутри сегментов. Это частая ситуация, когда меняется состав по platform или источникам трафика. Чтобы проверить, нужно сравнить метрику like-for-like, например посчитать rate отдельно по segment и посмотреть изменения внутри.
Проверь себя · 1/3разбор после ответа
Пользователи сами решают, обновлять ли приложение. Вы сравнили
conversion rate у обновившихся с не обновившимися и получили лучший результат у новой версии. Что здесь самая большая аналитическая проблема?Ещё вопросы по теме «Сегментация и конфаундинг»
- Вы сравниваете `conversion rate` между `channel` = `search` и `channel` = `social`. В `channel` = `search` заметно больше пользователей из `region` с высокой платежеспособностью. Какой наиболее вероятный `confounder` и что логично использовать как `control variable`?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше `retention` и `conversion rate`. Какая основная проблема такого вывода?
- В сегменте `ios` `conversion rate` вырос, и в сегменте `android` тоже вырос, но общий `conversion rate` по всем `users` снизился. Какое объяснение наиболее вероятно?
- Вы сравниваете `retention` между `region` A и `region` B. В `region` A больше пользователей из более «старых» когорт, а в `region` B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Вы хотите сравнить `conversion rate` между `platform` = `ios` и `platform` = `android`, но подозреваете, что в `ios` больше трафика из `channel` = `email`. Какой способ контроля наиболее корректен?
- Все вопросы по «Сегментация и конфаундинг» →