Вы хотите сравнить conversion rate между platform = ios и platform = android, но подозреваете, что в ios больше трафика из channel = email. Какой способ контроля наиболее корректен?
AЗафиксировать
control variable channel и сравнивать platform внутри каждого channel через stratificationBСравнить только общий
conversion rate, потому что mix shift всегда неваженCВыбрать один
segment с лучшей метрикой и объявить его основнымDУвеличить трафик на
ios, чтобы android догналПравильный ответ. Чтобы сравнение было честным, нужно контролировать
confounder через control variable и stratification.Разбор
Если channel влияет на вероятность покупки и распределён по platform по-разному, он искажает сравнение. Понятный подход — сравнить ios и android внутри одинакового channel как like-for-like. Затем можно агрегировать результаты, отдельно объяснив, какая часть разницы связана с mix shift.
Проверь себя · 1/3разбор после ответа
Релиз новой посадочной страницы был в пятницу, а сравнение сделали между субботой и четвергом и увидели падение
conversion rate. Какой вероятный confounder делает сравнение нечестным?Ещё вопросы по теме «Сегментация и конфаундинг»
- После запуска новой версии приложения общий `conversion rate` упал. При этом выросла доля трафика на `android` (`platform` = `android`), а у `android` исторически ниже `base rate`. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете `conversion rate` между `channel` = `search` и `channel` = `social`. В `channel` = `search` заметно больше пользователей из `region` с высокой платежеспособностью. Какой наиболее вероятный `confounder` и что логично использовать как `control variable`?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше `retention` и `conversion rate`. Какая основная проблема такого вывода?
- В сегменте `ios` `conversion rate` вырос, и в сегменте `android` тоже вырос, но общий `conversion rate` по всем `users` снизился. Какое объяснение наиболее вероятно?
- Вы сравниваете `retention` между `region` A и `region` B. В `region` A больше пользователей из более «старых» когорт, а в `region` B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →