16 апреля 2026 г.

Мультиколлинеарность в регрессии: как обнаружить и решить

Что такое мультиколлинеарность

Мультиколлинеарность — ситуация, когда две или больше предикторов (независимых переменных) сильно коррелируют между собой. Проблема в регрессионных моделях.

Виды:

Perfect multicollinearity. Один предиктор — точная линейная комбинация других. Например, height_cm и height_m в одной модели. Регрессия математически не разрешается.

High multicollinearity. Сильная, но не идеальная корреляция. Например, возраст и tenure коррелируют ~0.7. Модель работает, но с проблемами.

Structural multicollinearity. Создана искусственно — например, взаимодействия (x1, x2, x1·x2 — коррелированы).

Почему это проблема

В OLS регрессии мультиколлинеарность вызывает:

Нестабильные коэффициенты. Малые изменения данных → большие изменения коэффициентов. Модель ненадёжна.

Большие стандартные ошибки. Широкие confidence intervals. Трудно сказать, значим ли предиктор.

Неинтерпретируемые знаки. Коэффициент age может быть отрицательным, хотя логика говорит положительный. Мультиколлинеарность «распределяет» effect между коррелированными переменными непредсказуемо.

Проблемы с feature importance. Невозможно отличить, какой из коррелированных предикторов важнее.

НЕ страдают:

  • Predictions. Если цель — прогноз, multicollinearity не влияет на точность.
  • R². Он не снижается.

Как обнаружить

1. Correlation matrix.

import pandas as pd
corr = df[['age', 'tenure', 'salary', 'experience']].corr()
print(corr)
# Ищем |corr| > 0.7 между предикторами

Простой и наглядный. Но ловит только pairwise корреляции. Не видит multicollinearity между 3+ переменными.

2. Variance Inflation Factor (VIF).

VIF измеряет, насколько variance коэффициента «раздувается» из-за collinearity.

from statsmodels.stats.outliers_influence import variance_inflation_factor
import numpy as np

X = df[['age', 'tenure', 'salary', 'experience']]
vif = pd.DataFrame()
vif['feature'] = X.columns
vif['vif'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
print(vif)

Интерпретация:

  • VIF = 1: нет multicollinearity.
  • VIF 1-5: умеренная, приемлемо.
  • VIF 5-10: высокая, требует внимания.
  • VIF > 10: серьёзная проблема.

3. Condition number.

from numpy.linalg import cond
X_std = (X - X.mean()) / X.std()
cn = cond(X_std.values)
print(f'Condition number: {cn}')

CN > 30 — high multicollinearity.

Примеры из практики

Финансовый анализ. Income, savings, net_worth — все коррелируют. Включение всех трёх в модель обычно ведёт к multicollinearity.

HR analytics. Years_experience, age, tenure — сильная корреляция. Плюс level, salary.

Маркетинг. Ad_spend, impressions, clicks, reach — все increase together during campaigns.

Customer analytics. Total_spent, avg_order_value, order_count — взаимосвязаны.

Sport analytics. Player стats (goals, assists, shots, minutes) — коррелированы.

Методы решения

1. Удалить переменную.

Если две переменные сильно коррелированы, часто достаточно одной. Решение: удалить менее информативную (или менее важную для интерпретации).

# Если age vs tenure corr = 0.9
# Оставить tenure как более точную для retention analysis

2. Combined feature.

Создать один признак из коррелированных:

df['size_index'] = (df['height'] + df['weight']) / 2
# Или PCA: первая компонента как summary

3. PCA / Factor Analysis.

Трансформация корреляционной группы в ortогональные components.

from sklearn.decomposition import PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_correlated)

PCA components не коррелируют по определению. Но теряется interpretability.

4. Ridge regression (L2).

Вместо OLS используем Ridge. Он handles multicollinearity через регуляризацию.

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0).fit(X, y)

Коэффициенты shrink, stable. Но теряется interpretability (коэффициенты biased).

5. Lasso regression (L1).

Lasso автоматически выбирает features, обнуляя коэффициенты «лишних». Из коррелированной группы обычно выбирает одну.

from sklearn.linear_model import Lasso
model = Lasso(alpha=0.1).fit(X, y)

6. Elastic Net.

Комбинация L1 + L2. Хорошо работает с correlated groups — выбирает или shrinks все в группе together.

Когда multicollinearity не страшна

Goal — predictions. Если модель нужна для прогнозов, multicollinearity OK. Коэффициенты нестабильны, но predictions точны.

Control variables not of interest. Если некоторые variables включены только как controls, их коэффициенты не интерпретируются — multicollinearity между ними не важна.

Large dataset. С большим N (миллионы) даже высокий VIF может давать достаточно precision.

Non-linear models (Random Forest, Gradient Boosting). Деревья нечувствительны к multicollinearity. В них вообще не проблема.

Structural multicollinearity

Возникает от feature engineering:

Polynomial features. x, x², x³ — естественно коррелированы.

Interactions. x1, x2, x1·x2 — коррелированы, особенно при больших x.

Dummies. Если не убрать reference category, dummy переменные создают perfect multicollinearity (dummy variable trap).

Решение — centering и scaling перед созданием interactions:

df['x1_centered'] = df['x1'] - df['x1'].mean()
df['x2_centered'] = df['x2'] - df['x2'].mean()
df['interaction'] = df['x1_centered'] * df['x2_centered']

После centering correlation существенно снижается.

Продвинутые статистические темы — это senior уровень анализа. В тренажёре Карьерник есть задачи по регрессии, статистике и ML.

VIF decision tree

Подход в практике:

Проверить VIF для всех features
├── Все VIF < 5 → OK, моделирование
├── Есть VIF 5-10
│   ├── Features нужны для интерпретации? 
│   │   → Попробовать combined / PCA
│   └── Только для prediction? → игнорировать
└── VIF > 10
    ├── Drop один из коррелированной пары
    ├── ИЛИ combine их (PCA, sum)
    ├── ИЛИ Ridge/Elastic Net regression
    └── После пересчитать VIF

Итеративный процесс — после каждого изменения проверяем.

SQL для предварительного анализа

Перед модельной работой полезно посмотреть корреляции:

SELECT
    CORR(age, tenure_days) AS age_tenure,
    CORR(age, salary) AS age_salary,
    CORR(tenure_days, salary) AS tenure_salary,
    CORR(purchases, total_spent) AS purchases_spent
FROM users;

Высокие корреляции (>0.7) — warning для мультиколлинеарности в будущей модели.

Типичные ошибки

Automatic все-features approach. «Дали 50 переменных, пусть модель разберёт». Результат: multicollinearity, нестабильность.

Удалять по correlation matrix только. Не ловит three-way collinearity. VIF более правильный metric.

Ignore VIF в inference modelling. Для casual inference multicollinearity критична — оценки коэффициентов unreliable.

Drop features without understanding. Из коррелированных пар надо выбирать с пониманием. Какая variable causally upstream?

Интерпретировать Ridge коэффициенты. Они biased из-за shrinkage. Не utilizable для «X влияет на Y на столько».

Real-life example

E-commerce predicting revenue:

Features: age, income, total_orders, avg_order, last_login_days, signup_days_ago

VIF analysis:

age: 2.1
income: 3.4
total_orders: 9.8  ← high
avg_order: 2.8
last_login_days: 1.5
signup_days_ago: 8.2  ← high

total_orders и signup_days_ago коррелируют (старше клиент → больше orders). Оставляем один или combine:

df['orders_per_day'] = df['total_orders'] / df['signup_days_ago'].clip(lower=1)
# Drop original total_orders and signup_days_ago

Новая VIF проверка — должна улучшиться.

Читайте также

FAQ

Какой VIF — high?

10 — serious. 5-10 — moderate. Обычно 5 — практический threshold для action.

Ridge или Lasso для collinearity?

Ridge — если все correlated features нужны (shrinks together). Lasso — если ок выбрать один из correlated group (zeros others).

Мультиколлинеарность у деревьев?

У Random Forest и boosting — нет. У деревьев нет коэффициентов, которые стабильны / нестабильны. Feature importance может быть диstributed между correlated features, но predictions ОК.

Можно ли measure multicollinearity только по correlation?

Pairwise — недостаточно. VIF ловит multivariate multicollinearity. Всегда use VIF для проверки.

Тренироваться в Telegram