Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
Конфаундинг — когда скрытая переменная создаёт ложную связь между метриками. Парадокс Симпсона, omitted variable bias, необходимость контроля за ковариатами — темы, которые проверяют аналитическое мышление. На собеседовании дают пример, где тренд в данных исчезает или разворачивается при разбивке на сегменты.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
AТип устройства пользователя
BРегион проживания пользователя
CЧас суток в момент визита
DРазмер экрана устройства
Ответ: Если разные группы трафика имеют разный состав по регионам, то регион становится вероятным смешивающим фактором.
При сравнении каналов аудитория может отличаться по платежеспособности и доступности ассортимента. Если регион связан и с выбором канала, и с покупкой, он искажает сравнение. Корректнее сделать стратификацию по региону или сравнивать каналы внутри одинаковых регионов на одинаковых сегментах.
2После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
AНовая версия ухудшила опыт у части пользователей определённого сегмента, и общее падение конверсии полностью объясняется этим внутрисегментным эффектом
BИзменилась структура трафика по платформам: доля сегмента с более низким базовым уровнем выросла, поэтому общая конверсия снизилась без падения внутри сегментов
CПадение целиком объясняется ошибкой логирования событий: при корректной выгрузке данных конверсия по обоим сегментам платформы осталась бы прежней
DЭффект вызван сезонностью трафика: изменение конверсии связано с днём недели и не имеет отношения ни к составу платформ, ни к самому релизу
Ответ: Падение общего показателя может быть следствием смены структуры аудитории, а не ухудшения внутри каждого сегмента.
Если доля сегмента с более низким базовым уровнем выросла, общая конверсия может снизиться даже при стабильности внутри сегментов. Это частая ситуация, когда меняется состав по платформам или источникам трафика. Чтобы проверить, нужно сравнить метрику на сопоставимых данных — посчитать конверсию отдельно по каждому сегменту и посмотреть изменения внутри. Утверждения «всегда ухудшилось во всех сегментах», «при рандомизации это невозможно» или «контролировать только устройство» игнорируют сам механизм смены структуры аудитории.
3Вы хотите сравнить конверсию между iOS и Android, но подозреваете, что в iOS больше трафика из канала email. Какой способ контроля смешивающего фактора наиболее корректен?
AСравнить только общую конверсию по платформам, потому что разница каналов на больших объёмах усредняется и не искажает итог
BВыбрать сегмент с наилучшей конверсией и объявить его эталоном, а остальные платформы и каналы трактовать через сравнение с ним
CЗафиксировать канал как контрольный фактор и сравнивать iOS и Android внутри каждого канала отдельно через стратификацию
DУвеличить трафик на iOS из платных каналов, чтобы Android выровнялся по структуре источников и затем повторить сравнение
Ответ: Чтобы сравнение было честным, нужно контролировать смешивающий фактор через стратификацию по каналу и сравнение iOS/Android внутри одного канала.
Если канал влияет на вероятность покупки и распределён по платформам неодинаково, он искажает прямое сравнение. Корректный подход — сравнивать iOS и Android внутри одного и того же канала, а затем агрегировать результаты с учётом весов. Сравнение только общей конверсии маскирует сдвиг состава трафика, а выбор «лучшего» сегмента превращает наблюдение в подтасовку. Искусственное добавление трафика на одну платформу не решает задачу контроля и создаёт новые искажения.
4После запуска нового платного канала средняя длительность сессии упала. При этом внутри органического канала и внутри платного длительность почти не изменилась. Какое объяснение наиболее логичное?
AЭто значит, что продукт стал хуже для каждого сегмента, и общий показатель честно это отразил без искажений
BСкорее всего, произошло смещение состава: доля платного канала выросла, и общий показатель сместился из-за других весов сегментов
CЭто обязательно ошибка инструментирования, потому что смещение состава между каналами в принципе невозможно при корректных событиях
DЭто доказывает, что сегментный анализ бесполезен и от него нужно отказаться навсегда в пользу общих агрегатов
Ответ: Если внутри сегмента метрика стабильна, а общий уровень меняется, частая причина — смещение состава.
Общий показатель является смесью сегментных значений с весами, равными долям сегментов. Когда доли меняются, общий результат может измениться даже без изменений внутри сегментов. Поэтому важно мониторить состав аудитории и смотреть метрики на сопоставимом составе по сегменту. Объявлять это ошибкой инструментирования или отказываться от сегментации — значит терять контекст вместо того, чтобы его учитывать.
5Маркетинг сравнивает конверсию двух лендингов. Вариант A чаще показывали пользователям из регионов с высоким спросом, вариант B — из других регионов. Как корректнее всего контролировать этот фактор в анализе?
AСравнить общую конверсию по двум вариантам без учёта состава регионов и считать полученный результат честным
BСделать стратификацию по регионам и сравнить варианты внутри каждого региона, а затем агрегировать с общими весами
CПолностью удалить из выгрузки все регионы с высоким спросом, чтобы они не мешали корректному сравнению лендингов
DСравнить только сегмент лучшего региона между вариантами и экстраполировать полученный вывод на всех остальных пользователей
Ответ: Если варианты показаны разной аудитории, нужен контроль состава через стратификацию.
Разные регионы часто имеют разную базовую конверсию, поэтому сравнение без контроля состава будет искажено. Стратификация позволяет сравнить варианты внутри одинакового региона и отделить влияние состава от влияния лендинга. После этого можно агрегировать вывод с общими весами, сохраняя прозрачность по сегментам. Удаление регионов и сравнение по одному сегменту смещают выводы и теряют общую картину.