При сравнении двух сегментов по метрике вы заподозрили влияние конфаундера. Какой признак укажет, что речь действительно идёт о конфаундере, а не о другом эффекте?
AСлучайная ошибка измерения данных, возникшая на этапе логирования событий или загрузки в хранилище аналитики
BФактор, связанный одновременно с принадлежностью к сегменту и со значением метрики, искажающий сравнение
CМетрика, выраженная как отношение двух величин, у которой числитель и знаменатель посчитаны на разных подмножествах
DЗаметная разница в размере выборки между сегментами, при которой один из сегментов сильно доминирует по числу пользователей
Правильный ответ. Конфаундер искажает сравнение, потому что одновременно влияет и на формирование сегмента, и на результат.
Разбор
Например, регион может влиять на покупку и одновременно быть неравномерно распределённым между сегментами. Тогда разница метрики между сегментами будет отражать регион, а не реальный эффект интересующего фактора. Чтобы уменьшить искажение, используют контрольные переменные и стратификацию. Случайные ошибки измерения и разница в размере выборки — это другие проблемы, не сводящиеся к конфаундеру.
Проверь себя · 1/2разбор после ответа
Вы сравниваете ARPU между каналом A и каналом B и видите, что в канале A ARPU выше. При этом в канале A больше пользователей на iOS, которые обычно тратят больше. Что является вероятным смешивающим фактором и что нужно контролировать?
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →