Нулевая гипотеза простыми словами

Короткое объяснение

Нулевая гипотеза (H0) — это позиция «ничего не изменилось, эффекта нет». Она принимается по умолчанию, пока данные не докажут обратное.

Альтернативная гипотеза (H1) — это то, что мы хотим доказать: «эффект есть».

Мы не доказываем H0. Мы пытаемся её опровергнуть. Если получилось — принимаем H1. Если нет — говорим: «данных недостаточно, чтобы отвергнуть H0».

Аналогия — суд

В суде:

• Презумпция невиновности = H0: подсудимый не виновен
• Обвинение = H1: подсудимый виновен
• Задача прокурора — собрать достаточно доказательств, чтобы отвергнуть «не виновен»
• Если не хватило — оправдательный приговор, НЕ «доказана невиновность»

Статистика работает так же.

Пример 1. A/B-тест кнопки

Запустили A/B-тест: изменили цвет кнопки.

• H0: новый цвет не влияет на конверсию (CR одинаковый в обеих группах)
• H1: новый цвет влияет на конверсию (CR разный)

Считаем p-value. Если p < 0.05 → отвергаем H0 → разница значимая → новый цвет работает.

Пример 2. Сравнение с эталоном

Хотим проверить: мы лучше среднего по рынку?

• H0: наша конверсия = средняя по рынку (3%)
• H1: наша конверсия ≠ 3%

Собираем данные, считаем t-статистику, получаем p-value.

Пример 3. Ошибка продукта

Пользователи жалуются: «приложение медленнее стало».

• H0: время отклика не изменилось после релиза
• H1: время отклика выросло

Если тест отвергает H0 — да, стало медленнее.

Почему «отвергаем», а не «принимаем»

Ключевая идея: нельзя доказать H0 данными. Можно только не опровергнуть.

Почему? Потому что отсутствие разницы в данных может быть из-за:

• действительно нет разницы
• разница есть, но выборки слишком маленькой, чтобы её заметить

Поэтому говорим:

• «Отвергаем H0» (доказали эффект)
• «Не отвергаем H0» (данных не хватило для вывода)

Нельзя сказать «H0 верна».

Типовые формулировки H0

Задача	H0	H1
A/B-тест	CR_A = CR_B	CR_A ≠ CR_B
Одностороннее сравнение	CR_B ≤ CR_A	CR_B > CR_A
Сравнение с эталоном	mean = μ₀	mean ≠ μ₀
Независимость переменных	X и Y независимы	X и Y связаны
Качество модели	модель не лучше случайной	модель лучше

Одно- vs двусторонняя гипотеза

Двусторонняя (two-sided):

• H1: эффект есть, неважно в какую сторону
• Используется по умолчанию

Односторонняя (one-sided):

• H1: эффект в конкретную сторону (больше / меньше)
• Мощнее при той же выборке
• Используется, если вторая сторона физически невозможна или нас не интересует

На собесе чаще обсуждают двустороннюю.

Ошибки I и II рода

	H0 на самом деле верна	H0 на самом деле неверна
Отвергли H0	Ошибка I рода (α, false positive)	Правильно
Не отвергли	Правильно	Ошибка II рода (β, false negative)

• α (уровень значимости) — обычно 0.05 (5% вероятность false positive)
• β — обычно 0.2 (мощность 1 - β = 0.8)

p-value и H0

p-value — вероятность увидеть такой или более экстремальный результат, если H0 верна.

• p < 0.05 → маловероятно при H0 → отвергаем H0
• p ≥ 0.05 → не хватило данных → не отвергаем H0

p-value не равно вероятности H0 быть правильной.

Подробнее: p-value простыми словами.

На собеседовании

Типичные вопросы:

«Что такое нулевая гипотеза?» Позиция «эффекта нет», которую мы пытаемся опровергнуть данными.

«Что значит "не отвергли H0"?» Данных не хватило для вывода. НЕ то же самое, что «H0 верна».

«Можете сформулировать H0 для A/B-теста?» H0: метрика в контрольной группе равна метрике в тестовой. H1: они отличаются.

«Почему именно 0.05?» Соглашение. Нет математической причины. Фишер в 1925 году предложил, осталось в традиции.

Частые ошибки

Ошибка 1. «Мы доказали H0»

Нет. Отсутствие доказательств ≠ доказательство отсутствия.

Ошибка 2. Путать H0 и H1

H0 всегда «ничего не меняется». H1 — то, что хотим доказать.

Ошибка 3. Формулировать H0 с направлением

Неверно: H0: новый дизайн лучше
Верно:   H0: новый дизайн не лучше (CR_new ≤ CR_old)
         H1: новый дизайн лучше

Ошибка 4. p < 0.05 = всегда отвергнуть

Помните про:

• Multiple testing (если 20 метрик, одна случайно p<0.05)
• Размер эффекта (статистическая значимость ≠ практическая)
• Guardrail-метрики

Связанные темы

• P-value простыми словами
• Что такое t-test
• Доверительный интервал простыми словами
• Размер выборки для A/B
• A/B-тест простыми словами

FAQ

Можно ли доказать H0?

Нет. Только «не отвергнуть». Отсутствие p<0.05 не значит, что H0 верна.

Что значит H0?

Позиция по умолчанию: эффекта нет, ничего не изменилось. Её пытаемся опровергнуть.

Почему H0 — «без эффекта», а не «с эффектом»?

Потому что «отсутствие эффекта» проще фальсифицировать. Это методологическое соглашение (Карл Поппер).

Как выбрать α?

Обычно 0.05. Для критичных решений — 0.01 (строже). Для быстрых решений — 0.10.

---

Тренируйте статистику — откройте тренажёр с 1500+ вопросами для собесов.