Ошибка I и II рода: разница и баланс на собесе
Ошибки I и II рода — основа проверки гипотез и A/B-тестов. I — мы отвергли H0, хотя она верна (ложная тревога). II — не отвергли, хотя она ложна (упустили эффект). На собесе по A/B это must know.
Если коротко. I род — «нашли» эффект, которого нет (false positive, вероятность α). II род — «не нашли» реальный эффект (false negative, вероятность β). Снижение одной обычно повышает другую.
Проверь себя · 1/3разбор после ответа
Как корректно интерпретировать значение
p-value = 0.03 в проверке статистических гипотез?Ошибка I рода vs Ошибка II рода: таблица различий
Когда использовать Ошибка I рода
- Цена false positive высока (медицинский тест → лечат здорового).
- Раскатили вредную фичу на всех пользователей.
- Решили внедрить эксперимент, который ничего не даёт — потеря ресурсов.
Когда использовать Ошибка II рода
- Цена false negative высока (упустили реально работающую фичу).
- Тест с малой мощностью — отвергаем перспективные гипотезы.
- В медицине: не диагностировали реальное заболевание.
Ловушка на собесе
Любимый вопрос на собесе: «какую ошибку считать опаснее в A/B?». Зависит от контекста. Для «do no harm»-фич (платежи, реклама) опаснее I, для «discovery»-экспериментов — II. Не отвечайте «I» автоматически.