Корреляция и регрессия: вопросы для собеседования (часть 4)
Корреляция Пирсона, Спирмена, линейная регрессия, R-квадрат — инструменты для изучения связей между переменными. На собеседовании часто повторяют: «корреляция не означает причинность» — и просят привести пример. Также спрашивают про интерпретацию коэффициентов регрессии и предпосылки OLS.
Вопросы 16–20 из 20
16В каком случае использование коэффициента Пирсона `r` для измерения связи наиболее уместно?
AКогда хотя бы одна переменная категориальная и принимает несколько разных дискретных значений
BКогда связь между переменными точно U-образная и вы хотите количественно оценить нелинейность
CКогда нужно посчитать число событий за фиксированный интервал времени и сравнить интенсивность
DКогда две числовые переменные имеют примерно линейную связь и вы проверили влияние выбросов
Ответ: Коэффициент Пирсона `r` лучше всего работает для линейной связи между числовыми переменными.
Коэффициент Пирсона `r` измеряет линейную ассоциацию и чувствителен к выбросам. Поэтому обычно смотрят график и проверяют, что данные не состоят из категорий, закодированных числами. Для нелинейных зависимостей нулевая корреляция не означает отсутствие связи — например, при U-образной форме `r` может быть около нуля при сильной зависимости. Поэтому выбор меры связи зависит от постановки задачи и формы данных.
Подробный разбор → 17Вы построили линейную регрессию `churn = a + b*notifications` и получили `b > 0`. Менеджер говорит: уведомления увеличивают отток, выключаем. Какое уточнение по допущениям самое важное перед причинным выводом?
AДополнительные уточнения не требуются: положительный коэффициент регрессии означает причинное влияние
BДостаточно пересчитать корреляцию Пирсона: она точнее регрессии и даёт причинный ответ
CПроверить наличие скрытого смешивающего фактора и неслучайность назначения уведомлений пользователям
DУвеличить выборку для снижения `p-value`: вывод о причинности станет надёжнее с большим объёмом данных
Ответ: Коэффициент регрессии не становится причинным без сильных допущений и контроля смешивающих факторов.
Если уведомления чаще получают пользователи, которые уже на грани ухода, то смешивающий фактор даст положительный `b` даже без вреда от уведомлений. Регрессия в наблюдательных данных часто описывает связь, а не эффект вмешательства. Для причинного вывода нужен эксперимент, квазиэксперимент или явный контроль ключевых факторов и проверка допущений.
Подробный разбор → 18Вы оценили влияние цены на продажи через линейную регрессию `sales = a + b*price` и получили отрицательный `b`. Но в данных есть промо: при промо цена ниже и продажи выше, а промо в модель не включили. Какой риск наиболее типичен?
AРиска нет: коэффициент корреляции уже учёл влияние промо автоматически и наклон цены интерпретируется чисто
BКоэффициент `b` смещён из-за смешения факторов: промо одновременно меняет цену и продажи, и это попадает в наклон цены
CКоэффициент `b` всегда становится равен нулю при наличии промо, потому что промо обнуляет связь между ценой и продажами
DЗадача автоматически превращается в пуассоновскую регрессию, и наклон цены теряет интерпретацию из-за смены модели
Ответ: Пропущенный фактор, связанный и с `x`, и с `y`, создаёт смешение факторов и смещает оценку наклона.
Промо одновременно влияет на продажи и снижает цену, поэтому цена в модели начинает отражать эффекты промо. Тогда наклон `b` ловит смесь причин, и его интерпретация становится неверной. Типичный фикс — добавить промо как переменную в модель или использовать дизайн, где назначение цены не связано с промо. Корреляция и пуассоновская регрессия эту проблему не устраняют, а отсутствие связи цена–продажи в принципе невозможно гарантировать промо-периодом.
Подробный разбор → 19У вас миллион наблюдений, `Pearson r` между двумя метриками равен 0.03, а `p-value` очень маленький. Какой вывод наиболее корректен для продукта?
AСвязь сильная, потому что значение `p-value` маленькое, а это главный признак крупного эффекта
BЭто доказывает причинную связь между метриками, потому что в выборке очень много наблюдений
CНужно перейти на коэффициент Спирмена, потому что `Pearson r` не подходит для больших выборок
DСвязь статистически различима, но по размеру эффекта очень слабая; нужно оценивать практическую значимость
Ответ: `p-value` отвечает про обнаружимость эффекта, а не про его размер или практическую важность.
При большом объёме данных даже очень слабая корреляция может быть статистически значимой. Для продуктовых решений важнее оценить эффект по масштабу и влиянию на метрики, а не только по `p-value`. Типичная ловушка — принять «значимо» за «важно» и переоценить влияние связи. Замена коэффициента или интерпретация значимости как причинности — отдельные ошибки, не относящиеся к проблеме размера эффекта.
Подробный разбор → 20В целом по всем пользователям корреляция между временем загрузки и конверсией отрицательная. Но внутри каждого типа устройства корреляция почти нулевая. Что это скорее всего означает?
AНужно пересчитать коэффициент корреляции Пирсона другой формулой, потому что внутри сегментов он сломан и не считается
BВремя загрузки и конверсия не связаны ни при каких условиях, и сегменты тут просто маскируют истинное отсутствие связи
CЭто означает, что линейная регрессия в принципе бесполезна для таких данных и применять её больше нельзя
DВозможно смешение сегментов: тип устройства влияет и на загрузку, и на конверсию, создавая агрегированный эффект
Ответ: Агрегирование может создать видимую связь из-за смешения сегментов, хотя внутри каждого её нет.
Если один тип устройств одновременно медленнее и хуже конвертирует, агрегированные данные покажут отрицательную связь даже при отсутствии эффекта внутри сегментов. Это похоже на парадокс Симпсона и часто сигнализирует о смешении популяции, а не о настоящей зависимости. Правильный шаг — анализировать по сегментам или контролировать тип устройства в линейной регрессии. Делать вывод по агрегату без разбивки в таких случаях опасно.
Подробный разбор →