Сегментация и конфаундинг: вопросы для собеседования (часть 3)
Конфаундинг — когда скрытая переменная создаёт ложную связь между метриками. Парадокс Симпсона, omitted variable bias, необходимость контроля за ковариатами — темы, которые проверяют аналитическое мышление. На собеседовании дают пример, где тренд в данных исчезает или разворачивается при разбивке на сегменты.
Вопросы 11–15 из 20
11В сегменте `ios` `conversion rate` вырос, и в сегменте `android` тоже вырос, но общий `conversion rate` по всем `users` снизился. Какое объяснение наиболее вероятно?
AДанные точно ошибочны, потому что такое невозможно
BЭто обязательно `selection bias`, потому что сегменты всегда противоречат общему
CЗначит, `confounder` отсутствует и можно игнорировать сегменты
DЭто `mix shift`: изменились доли `segment`, и общий `rate` стал взвешенной смесью с другими весами
Ответ: Противоречие между общим и сегментами часто объясняется `mix shift` и изменением весов `segment`.
Общий `rate` является взвешенной комбинацией сегментных значений. Если выросла доля сегмента с низким `base rate`, общий показатель может упасть даже при росте внутри каждого `segment`. Поэтому важно смотреть не только на значения в сегментах, но и на доли сегментов и делать сравнения `like-for-like`.
12Вы сравниваете `retention` между `region` A и `region` B. В `region` A больше пользователей из более «старых» когорт, а в `region` B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
AСравнить общий `retention` как есть и не учитывать состав
BСделать `stratification` по `cohort` стажу и сравнивать `like-for-like` внутри стажа
CИсключить всех пользователей из `region` A, чтобы базы стали одинаковыми
DЗаменить `retention` на любую другую метрику, чтобы не думать о `confounder`
Ответ: Разный состав по `cohort` создаёт `confounder`, поэтому нужна `stratification` для сравнения `like-for-like`.
Если «возраст когорты» влияет на `retention` и распределён по `region` неравномерно, общий результат будет искажён. `Stratification` по возрасту когорты позволяет сравнивать сопоставимые группы пользователей, а затем корректно собрать общий вывод. Такой подход помогает отделить различие продукта от различий аудитории.
13Вы сравниваете `ARPU` между `channel` A и `channel` B и видите, что в `channel` A `ARPU` выше. При этом в `channel` A больше пользователей на `ios` (`platform` = `ios`), которые обычно тратят больше. Что является вероятным `confounder` и что нужно контролировать?
A`region` всегда главный `confounder`, поэтому контролировать нужно только `region`
B`platform` как `confounder`, поэтому стоит сделать `stratification` по `platform` и сравнить `ARPU` `like-for-like`
C`selection bias` из-за того, что `ARPU` нельзя сравнивать
DНичего не нужно контролировать, потому что `ratio metric` всегда справедлив
Ответ: Разный состав по `platform` может быть `confounder`, который объясняет различие `ARPU`.
Если `platform` влияет на траты и распределён по `channel` неравномерно, общий `ARPU` по `channel` будет смесью с разными весами. Чтобы сравнить эффективность канала, важно контролировать `platform` через `stratification` или сравнение внутри сегментов. Тогда вы поймёте, есть ли разница в тратах именно из-за `channel`.
14В каждом сегменте по `device` `conversion rate` снизился, но общий `conversion rate` вырос. Что сначала нужно проверить, чтобы понять ситуацию?
AПроверить `сдвиг микса` в долях `segment` по `device` и пересчитать сравнение `like-for-like`
BИгнорировать `segment`, потому что общий показатель всегда главный
CСразу обвинить трекинг, потому что такое не бывает
DЗаменить `control variable` на другой, чтобы результаты совпали
Ответ: Когда общий результат противоречит каждому `segment`, частая причина в `сдвиг микса` и изменении весов.
Общий показатель является смесью сегментов, и изменение долей может привести к неожиданному результату. Поэтому важно смотреть не только значения внутри `segment`, но и распределение аудитории. После проверки `сдвиг микса` полезно отчитать эффект как `like-for-like`, чтобы сравнение было честным.
15Пользователи сами решают, обновлять ли приложение. Вы сравнили `conversion rate` у обновившихся с не обновившимися и получили лучший результат у новой версии. Что здесь самая большая аналитическая проблема?
AРазницы нет, потому что `segment` обновившихся всегда случайный
BНужно просто увеличить выборку, и `confounder` исчезнет
CПроблема только в `mix shift` по `device`, но `selection bias` тут невозможен
DЭто `selection bias` из-за `self-selection`: обновляются более активные `users`, и сравнение не причинное
Ответ: Добровольное обновление создаёт `selection bias`, поэтому сравнение не даёт чистый эффект версии.
Обновившиеся пользователи могут отличаться по вовлечённости, `base rate` покупок и устройствам. Эти различия становятся `confounder` и могут объяснить рост метрики без реального улучшения продукта. Чтобы оценить влияние версии, нужно сделать `randomization` или хотя бы сравнение `like-for-like` с контролем ключевых факторов.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram