Сегментация и конфаундинг: вопросы для собеседования (часть 2)
Конфаундинг — когда скрытая переменная создаёт ложную связь между метриками. Парадокс Симпсона, omitted variable bias, необходимость контроля за ковариатами — темы, которые проверяют аналитическое мышление. На собеседовании дают пример, где тренд в данных исчезает или разворачивается при разбивке на сегменты.
Вопросы 6–10 из 20
6При сравнении двух сегментов по метрике вы заподозрили влияние конфаундера. Какой признак укажет, что речь действительно идёт о конфаундере, а не о другом эффекте?
AСлучайная ошибка измерения данных, возникшая на этапе логирования событий или загрузки в хранилище аналитики
BФактор, связанный одновременно с принадлежностью к сегменту и со значением метрики, искажающий сравнение
CМетрика, выраженная как отношение двух величин, у которой числитель и знаменатель посчитаны на разных подмножествах
DЗаметная разница в размере выборки между сегментами, при которой один из сегментов сильно доминирует по числу пользователей
Ответ: Конфаундер искажает сравнение, потому что одновременно влияет и на формирование сегмента, и на результат.
Например, регион может влиять на покупку и одновременно быть неравномерно распределённым между сегментами. Тогда разница метрики между сегментами будет отражать регион, а не реальный эффект интересующего фактора. Чтобы уменьшить искажение, используют контрольные переменные и стратификацию. Случайные ошибки измерения и разница в размере выборки — это другие проблемы, не сводящиеся к конфаундеру.
Подробный разбор → 7Вы хотите понять, отличается ли конверсия между платформами iOS и Android. При этом трафик Android в основном идёт из регионов с низкой покупательной способностью. Какой подход наиболее корректен?
AСравнить общую конверсию между iOS и Android по всем странам сразу и сделать вывод об эффекте платформы без каких-либо дополнительных поправок.
BИспользовать регион как контрольную переменную: сделать стратификацию по регионам и сравнивать конверсию iOS и Android внутри одинаковых регионов.
CОставить в анализе только пользователей Android, потому что их трафик существенно больше и так выборка получится статистически мощнее.
DИскусственно перевести часть пользователей Android в группу iOS, чтобы доли платформ в выборке сравнялись и можно было сравнивать общие числа.
Ответ: Для честного сравнения платформ нужно контролировать смешивающий фактор «регион» через стратификацию.
Если регион влияет на покупки и распределён неравномерно между платформами, он искажает разницу метрик. Стратификация позволяет сравнить iOS и Android внутри одинаковых регионов, а затем собрать общий вывод с учётом весов. Это снижает риск перепутать эффект платформы с эффектом состава аудитории. Простое сравнение средних или искусственное перетасовывание пользователей в выборке такие смещения не лечит.
Подробный разбор → 8Релиз новой посадочной страницы был в пятницу, а сравнение сделали между субботой и четвергом и увидели падение конверсии. Какой вероятный смешивающий фактор делает сравнение нечестным?
AСмещение отбора из-за рандомизации трафика между новой и старой посадочными страницами в эксперименте
BСмешение состава пользователей из-за того, что знаменатель конверсии в один из дней оказался равен нулю
CЭффект новизны страницы: первые посетители реагируют на изменение интерфейса заметно сильнее, чем все последующие пользователи
DДень недели как смешивающий фактор: поведение пользователей в выходные и будни заметно различается
Ответ: Разные дни недели могут быть сильным смешивающим фактором для продуктовых метрик.
Даже без изменений продукта метрики часто отличаются между буднями и выходными. Если релиз совпал со сменой дня недели, вы не отделите эффект релиза от сезонности внутри недели. Корректнее сравнивать одинаковые дни или делать стратификацию по дню недели. Рандомизация и нулевой знаменатель — другие классы проблем и в этой ситуации не объясняют наблюдаемое падение.
Подробный разбор → 9Маркетолог утверждает, что кампания B лучше: в B выше конверсия. Вы видите, что в B больше пользователей с десктопа, а на десктопе обычно базовая конверсия покупки выше. Какой ответ наиболее корректен на интервью?
AСогласиться с маркетологом: конверсия по кампаниям сравнима без поправки на состав аудитории по типу устройства
BУбрать сегмент по устройству и сравнить только общую выручку по кампаниям B и A на агрегатном уровне
CУказать на сдвиг состава: сравнить кампании like-for-like на одинаковых сегментах устройств или применить стратификацию по платформе
DСослаться на автоматическое распределение бюджетов: ошибка отбора по аудитории при таком запуске кампании исключена
Ответ: Если состав аудитории по устройствам отличается, сравнение конверсий без контроля может быть искажено сдвигом микса и скрытыми факторами.
Разные типы устройств часто имеют разную базовую конверсию и поведение пользователей. Если кампания приводит несопоставимую аудиторию, общая конверсия отражает смесь сегментов, а не качество кампании. Поэтому правильно зафиксировать тип устройства как контрольную переменную, сравнить like-for-like или провести стратификацию, и только потом делать вывод о реальной разнице между кампаниями.
Подробный разбор → 10Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
AЭто сдвиг микса по регионам, который всегда повышает удержание и конверсию у активных пользователей по сравнению с менее активной аудиторией продукта
BЭто влияние внешнего смешивающего фактора только из-за сезонности, поэтому достаточно подождать пару недель и пересчитать показатели в спокойный период
CНужно убрать сегменты пользователей и смотреть только общий показатель конверсии, потому что разрезы всегда зашумляют итоговый результат сравнения групп
DЭто смещение отбора из-за самоотбора: функцию чаще включают более мотивированные пользователи с изначально более высокой базовой конверсией и удержанием
Ответ: При смещении отбора пользователи сами выбирают попадание в группу, и сравнение перестаёт быть честным без рандомизации или стратификации.
Те, кто включает функцию, обычно более вовлечены и уже имеют более высокую базовую конверсию. Поэтому разница метрик может отражать не эффект функции, а различия аудитории. Чтобы оценить эффект, нужно сравнение без самоотбора, например через рандомизацию или через корректные контрольные переменные и стратификацию. Сезонность или сдвиг микса по регионам объясняют далеко не все случаи и не отменяют необходимости борьбы с самоотбором.
Подробный разбор →