В каждом сегменте по device conversion rate снизился, но общий conversion rate вырос. Что сначала нужно проверить, чтобы понять ситуацию?
AПроверить
сдвиг микса в долях segment по device и пересчитать сравнение like-for-likeBИгнорировать
segment, потому что общий показатель всегда главныйCСразу обвинить трекинг, потому что такое не бывает
DЗаменить
control variable на другой, чтобы результаты совпалиПравильный ответ. Когда общий результат противоречит каждому
segment, частая причина в сдвиг микса и изменении весов.Разбор
Общий показатель является смесью сегментов, и изменение долей может привести к неожиданному результату. Поэтому важно смотреть не только значения внутри segment, но и распределение аудитории. После проверки сдвиг микса полезно отчитать эффект как like-for-like, чтобы сравнение было честным.
Проверь себя · 1/3разбор после ответа
Релиз новой посадочной страницы был в пятницу, а сравнение сделали между субботой и четвергом и увидели падение
conversion rate. Какой вероятный confounder делает сравнение нечестным?Ещё вопросы по теме «Сегментация и конфаундинг»
- После запуска новой версии приложения общий `conversion rate` упал. При этом выросла доля трафика на `android` (`platform` = `android`), а у `android` исторически ниже `base rate`. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете `conversion rate` между `channel` = `search` и `channel` = `social`. В `channel` = `search` заметно больше пользователей из `region` с высокой платежеспособностью. Какой наиболее вероятный `confounder` и что логично использовать как `control variable`?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше `retention` и `conversion rate`. Какая основная проблема такого вывода?
- В сегменте `ios` `conversion rate` вырос, и в сегменте `android` тоже вырос, но общий `conversion rate` по всем `users` снизился. Какое объяснение наиболее вероятно?
- Вы сравниваете `retention` между `region` A и `region` B. В `region` A больше пользователей из более «старых» когорт, а в `region` B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →