Корреляция и регрессия: вопросы для собеседования (часть 2)
Корреляция Пирсона, Спирмена, линейная регрессия, R-квадрат — инструменты для изучения связей между переменными. На собеседовании часто повторяют: «корреляция не означает причинность» — и просят привести пример. Также спрашивают про интерпретацию коэффициентов регрессии и предпосылки OLS.
Вопросы 6–10 из 20
6Вы подозреваете, что связь между числом пушей и оттоком объясняется тем, что пуши чаще получают новички. Что лучше сделать, чтобы снизить влияние смешивающего фактора в анализе?
AУвеличить уровень значимости, чтобы быстрее получить статистически значимый вывод и не учитывать сегменты
BСтратифицировать пользователей по статусу новичок/опытный или добавить этот фактор в линейную регрессию
CЗаменить коэффициент корреляции Пирсона на ранговый Спирмена и при этом не учитывать никакие сегменты
DОставить только пользователей, которые получили 0 пушей, и сравнить их со всеми остальными по оттоку
Ответ: Контроль смешивающего фактора достигается стратификацией по сегментам или добавлением фактора в модель.
Если статус пользователя влияет и на получение пушей, и на отток, он искажает оценку связи между ними. Разбиение на сегменты или добавление переменной в регрессию делает сравнение более сопоставимым внутри однородных групп. Это не гарантирует причинность, но снижает риск неправильной интерпретации из-за смешивающего фактора. Изменение уровня значимости, замена коэффициента корреляции и фильтрация только по нулю пушей проблему не решают.
Подробный разбор → 7Линейная регрессия обучена на скидках от 0 до 30%. Продакт-менеджер просит предсказать конверсию при скидке 80%. Какой ответ наиболее корректен?
AМожно смело предсказывать, потому что линейная регрессия одинаково работает для любых значений признака
BДостаточно увеличить число наблюдений в диапазоне 0–30%, и тогда модель будет уверенно экстраполировать на 80%
CНужно посчитать коэффициент корреляции Пирсона: при высокой корреляции экстраполяция становится надёжной автоматически
DЭто экстраполяция вне диапазона данных: предсказание может быть неверным, лучше собрать данные в нужном диапазоне
Ответ: Экстраполяция вне диапазона данных — частая ловушка в регрессии: за пределами обучающего диапазона связь может перестать быть линейной.
Линейная модель может хорошо описывать связь в наблюдаемом диапазоне и при этом давать абсурдные значения за его пределами. При скидке 80% могут включиться другие механизмы (отток платящих, насыщение спроса), и линейность нарушится. Поэтому корректнее либо собрать данные в нужном диапазоне, либо заранее ограничить область применения модели. Высокая корреляция Пирсона на старых данных тоже не гарантирует надёжной экстраполяции.
Подробный разбор → 8Вы видите положительную корреляцию между продажами мороженого и количеством утоплений по дням. Это типичный пример ложной связи. Что наиболее вероятно объясняет наблюдение?
AМороженое прямо вызывает утопления: повышение уровня сахара в крови у купающихся ослабляет их физическую форму на воде
BКорреляция Пирсона по дням посчитана с ошибкой и не работает на временных рядах с сезонностью и автокорреляцией
CЕсть смешивающий фактор (например, температура воздуха), который влияет и на продажи мороженого, и на число утоплений
DСвязь объясняется обратной причинностью: рост числа утоплений поднимает спрос на мороженое в курортных регионах летом
Ответ: Ложная связь часто возникает из-за общего смешивающего фактора, который влияет на обе переменные.
Это классический пример конфаундера: жаркие дни одновременно увеличивают и продажи мороженого, и число купающихся, а вместе с ними — количество утоплений. Между двумя метриками нет прямой причинной связи, обе следуют за температурой. Идея «мороженое вызывает утопления через сахар» физически несостоятельна. Тезис, что Пирсон не работает на временных рядах, верен лишь технически (нужны поправки на автокорреляцию), но не объясняет ложную связь. Обратная причинность (утопления влияют на спрос) маловероятна на масштабе данных.
Подробный разбор → 9В линейной регрессии вида `y = a + b*x` что означает интерсепт `a`?
AОжидаемое значение `y` при `x = 0`, но оно может быть вне диапазона данных и тогда не иметь прямого смысла
BКоэффициент корреляции между `x` и `y`, показывающий направление и силу линейной связи переменных
CСреднее значение `y` по всей выборке, не зависящее от значения предиктора и используемое как базовая линия
DСтандартная ошибка наклона `b`, отражающая неопределённость оценки эффекта `x` на `y` при обучении
Ответ: Интерсепт — это прогноз `y` при `x = 0`.
Интерсепт `a` в линейной регрессии `y = a + b*x` — это предсказанное значение `y` при `x = 0`. Если значение `x = 0` лежит вне диапазона данных (например, рост 0 см или возраст 0 лет), интерпретировать интерсепт буквально нельзя — это просто параметр, обеспечивающий правильное расположение прямой в наблюдаемом диапазоне. Коэффициент корреляции — это другой параметр, нормированный, и не равен интерсепту. Среднее `y` равно интерсепту только в вырожденном случае при центрированном `x`. Стандартная ошибка наклона — характеристика оценки `b`, а не параметр модели.
Подробный разбор → 10Вы нашли корреляцию между количеством показов рекламы и выручкой. Но вы знаете, что в праздники и показы, и выручка растут. Как лучше описать риск интерпретации?
AЭто означает, что реклама не работает, и любые изменения бюджета не повлияют на выручку в текущем периоде наблюдения и аудитории
BЭто доказывает, что реклама вызывает рост выручки, поскольку рост виден на исторических данных и сохраняется по сезонам года
CНужно заменить коэффициент Пирсона на распределение Пуассона и пересчитать связь как параметр интенсивности событий по дням
DВозможно скрытое смешивание из-за сезонности, поэтому простая корреляция не равна причинному эффекту рекламы на выручку
Ответ: Скрытое смешивание из-за общей третьей причины делает корреляцию плохой оценкой причинного эффекта.
Сезонность меняет и спрос, и маркетинговую активность, поэтому группы дней становятся несопоставимыми. В результате корреляция может отражать календарные эффекты, а не влияние рекламы. Чтобы приблизиться к причинному эффекту, нужно контролировать сезонность, строить сравнимые группы или использовать эксперимент. Варианты «реклама не работает» и «доказывает причинность» делают слишком сильные выводы из одной корреляции.
Подробный разбор →