Сегментация и конфаундинг: вопросы для собеседования (часть 3)
Конфаундинг — когда скрытая переменная создаёт ложную связь между метриками. Парадокс Симпсона, omitted variable bias, необходимость контроля за ковариатами — темы, которые проверяют аналитическое мышление. На собеседовании дают пример, где тренд в данных исчезает или разворачивается при разбивке на сегменты.
Вопросы 11–15 из 20
11В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
AЭто смещение отбора: сегменты по платформе противоречат общей картине и должны интерпретироваться отдельно
BДанные ошибочны: такое поведение метрики исключено при корректной агрегации и согласованных правилах подсчёта
CЭто сдвиг состава: изменились доли сегментов, и общая конверсия стала взвешенной смесью с другими весами и базовыми уровнями
DСкрытый фактор отсутствует и сегменты можно игнорировать: общая конверсия по всем пользователям важнее сегментных значений
Ответ: Противоречие между общим и сегментами часто объясняется сдвигом состава и изменением весов сегментов.
Общая конверсия — это взвешенная комбинация сегментных значений. Если выросла доля сегмента с низким базовым уровнем, общий показатель может упасть даже при росте внутри каждого сегмента. Поэтому важно смотреть не только на значения в сегментах, но и на доли сегментов и делать сравнения на сопоставимых группах. Это типичный сдвиг состава, а не ошибка данных.
Подробный разбор → 12Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
AСравнить общее удержание как есть, не учитывая разный состав когорт по стажу в регионах A и B
BСделать стратификацию по стажу когорты и сравнивать сопоставимые группы внутри одного и того же стажа
CСравнить удержание только в самой свежей когорте каждого региона, считая, что новые пользователи лучше всего отражают текущее состояние продукта
DВзвесить удержание в каждом регионе по доле всех пользователей продукта, чтобы привести оба региона к одной общей структуре
Ответ: Разный состав когорт создаёт скрытый фактор, поэтому нужна стратификация для сравнения сопоставимых групп.
Если «возраст когорты» влияет на удержание и распределён по регионам неравномерно, общий результат будет искажён скрытым фактором. Стратификация по возрасту когорты позволяет сравнивать сопоставимые группы пользователей, а затем корректно собрать общий вывод. Такой подход помогает отделить различие продукта от различий аудитории.
Подробный разбор → 13Вы сравниваете ARPU между каналом A и каналом B и видите, что в канале A ARPU выше. При этом в канале A больше пользователей на iOS, которые обычно тратят больше. Что является вероятным смешивающим фактором и что нужно контролировать?
AКонтролировать достаточно регион как универсальный смешивающий фактор для любых сравнений каналов
BПлатформа выступает смешивающим фактором: сравнивать ARPU внутри сегментов iOS и Android по отдельности
CARPU как отношение устойчиво к составу аудитории, контроль смешивающих факторов в этом случае избыточен
DСравнение каналов невозможно из-за систематического смещения, и от такого анализа стоит полностью отказаться
Ответ: Разный состав по платформе может быть смешивающим фактором, который объясняет различие ARPU между каналами.
Если платформа влияет на траты и распределена по каналам неравномерно, общий ARPU по каналу будет смесью с разными весами. Чтобы оценить эффективность канала, важно контролировать платформу через стратификацию или сравнение внутри сегментов. Тогда видно, есть ли разница в тратах именно из-за канала, а не из-за состава аудитории. Региона может вообще не быть в данных, а ARPU как отношение прекрасно «обманывается» сменой состава знаменателя — поэтому варианты с «контролировать только регион» или «ничего не контролировать» неверны.
Подробный разбор → 14В каждом сегменте по устройству конверсия снизилась, но общая конверсия выросла. Что сначала нужно проверить, чтобы понять ситуацию?
AПроверить сдвиг микса в долях устройств между сегментами и пересчитать сравнение на одинаковой структуре аудитории, чтобы исключить эффект перевзвешивания
BИгнорировать разрезы по устройствам, потому что общий показатель конверсии всегда главный и отражает поведение всей аудитории по продукту в целом
CСразу обвинить трекинг и логирование событий, потому что такого расхождения общей и сегментных конверсий просто не бывает в корректных данных
DЗаменить контрольную переменную в анализе на другой признак сегментации, чтобы значения общей и сегментных конверсий совпали и не противоречили друг другу
Ответ: Когда общий результат противоречит каждому сегменту, частая причина в сдвиге микса и изменении весов сегментов внутри общей выборки.
Общий показатель является смесью сегментов, и изменение долей может привести к неожиданному результату. Поэтому важно смотреть не только значения внутри сегмента, но и распределение аудитории. После проверки сдвига микса полезно отчитать эффект на одинаковой структуре, чтобы сравнение было честным. Замена контрольной переменной или обвинение трекинга без проверки долей не объясняют парадокс.
Подробный разбор → 15Пользователи сами решают, обновлять ли приложение. Вы сравнили конверсию у обновившихся и не обновившихся и получили лучший результат у новой версии. Что здесь самая большая аналитическая проблема?
AРазницы в группах нет, потому что сегмент обновившихся пользователей всегда случайный и сопоставим с не обновившимися по всем ключевым признакам
BДостаточно увеличить выборку обеих групп, и смешивающий фактор постепенно исчезнет сам собой по мере накопления большего числа наблюдений
CЭто смещение отбора из-за самоотбора: обновляются более активные пользователи, и сравнение групп не отражает причинного влияния новой версии
DПроблема только в сдвиге микса по моделям устройств, а смещение отбора в этой схеме сравнения двух версий приложения в принципе невозможно
Ответ: Добровольное обновление создаёт смещение отбора, поэтому такое сравнение не даёт чистого эффекта новой версии.
Обновившиеся пользователи могут отличаться по вовлечённости, базовой конверсии покупок и устройствам. Эти различия становятся смешивающим фактором и могут объяснить рост метрики без реального улучшения продукта. Чтобы оценить влияние версии, нужна рандомизация или хотя бы сравнение «равное к равному» с контролем ключевых факторов. Увеличение выборки или ссылка на сдвиг микса по устройствам сами по себе проблему самоотбора не решают.
Подробный разбор →