Маркетинг сравнивает конверсию (conversion rate) двух лендингов. Вариант A чаще показывали пользователям из region с высоким спросом, вариант B — из других region. Как корректнее всего контролировать этот фактор в анализе?
AСравнить общий
conversion rate по вариантам и считать результат честнымBУдалить из данных все
region, чтобы не мешалиCСравнить только
segment лучшей region и экстраполировать на всехDСделать
stratification по region и сравнить варианты like-for-like внутри region, а затем агрегироватьПравильный ответ. Если варианты показаны разной аудитории, нужен контроль
confounder через stratification.Разбор
Разные region часто имеют разный base rate, поэтому сравнение без контроля будет искажено. Stratification позволяет сравнить варианты внутри одинаковой region и отделить влияние состава от влияния лендинга. После этого можно агрегировать вывод, сохраняя прозрачность по сегментам.
Проверь себя · 1/3разбор после ответа
Новая функция включается кнопкой, и анализ показал, что у включивших выше
retention и conversion rate. Какая основная проблема такого вывода?Ещё вопросы по теме «Сегментация и конфаундинг»
- После запуска новой версии приложения общий `conversion rate` упал. При этом выросла доля трафика на `android` (`platform` = `android`), а у `android` исторически ниже `base rate`. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете `conversion rate` между `channel` = `search` и `channel` = `social`. В `channel` = `search` заметно больше пользователей из `region` с высокой платежеспособностью. Какой наиболее вероятный `confounder` и что логично использовать как `control variable`?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше `retention` и `conversion rate`. Какая основная проблема такого вывода?
- В сегменте `ios` `conversion rate` вырос, и в сегменте `android` тоже вырос, но общий `conversion rate` по всем `users` снизился. Какое объяснение наиболее вероятно?
- Вы сравниваете `retention` между `region` A и `region` B. В `region` A больше пользователей из более «старых» когорт, а в `region` B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →