После запуска агрессивной кампании в channel paid общий churn вырос. Продуктовая команда считает, что продукт ухудшился. Какой вывод наиболее осторожный?
AРост
churn доказывает, что продукт стал хуже для каждого segmentBЭто обязательно ошибка данных, потому что
churn не может растиCНужно убрать
segment анализ и смотреть только общий churnDВозможен
сдвиг микса: пришла аудитория с другим base rate удержания, поэтому нужно сравнить churn like-for-like по channel, region или cohortПравильный ответ. Рост общего
churn после изменения состава трафика может быть следствием сдвиг микса, а не ухудшения продукта.Разбор
Платный трафик часто приносит users с другим base rate и другими ожиданиями. Если доля такого segment выросла, общий churn может увеличиться даже при стабильном поведении старых сегментов. Корректный шаг — сделать stratification по ключевым confounder и посмотреть динамику внутри сегментов like-for-like.
Проверь себя · 1/3разбор после ответа
В сегменте
ios conversion rate вырос, и в сегменте android тоже вырос, но общий conversion rate по всем users снизился. Какое объяснение наиболее вероятно?Ещё вопросы по теме «Сегментация и конфаундинг»
- После запуска новой версии приложения общий `conversion rate` упал. При этом выросла доля трафика на `android` (`platform` = `android`), а у `android` исторически ниже `base rate`. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете `conversion rate` между `channel` = `search` и `channel` = `social`. В `channel` = `search` заметно больше пользователей из `region` с высокой платежеспособностью. Какой наиболее вероятный `confounder` и что логично использовать как `control variable`?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше `retention` и `conversion rate`. Какая основная проблема такого вывода?
- В сегменте `ios` `conversion rate` вырос, и в сегменте `android` тоже вырос, но общий `conversion rate` по всем `users` снизился. Какое объяснение наиболее вероятно?
- Вы сравниваете `retention` между `region` A и `region` B. В `region` A больше пользователей из более «старых» когорт, а в `region` B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →