Ошибка I и II рода: разница и баланс на собесе
Ошибки I и II рода — основа проверки гипотез и A/B-тестов. I — мы отвергли H0, хотя она верна (ложная тревога). II — не отвергли, хотя она ложна (упустили эффект). На собесе по A/B это must know.
Если коротко. I род — «нашли» эффект, которого нет (false positive, вероятность α). II род — «не нашли» реальный эффект (false negative, вероятность β). Снижение одной обычно повышает другую.
Проверь себя · 1/3разбор после ответа
В A/B-тесте группы сформированы случайно, а распределение метрики далеко от нормального. Вам нужен
p-value для H0: разницы нет. Что наиболее естественно использовать?Ошибка I рода vs Ошибка II рода: таблица различий
Когда использовать Ошибка I рода
- Цена false positive высока (медицинский тест → лечат здорового).
- Раскатили вредную фичу на всех пользователей.
- Решили внедрить эксперимент, который ничего не даёт — потеря ресурсов.
Когда использовать Ошибка II рода
- Цена false negative высока (упустили реально работающую фичу).
- Тест с малой мощностью — отвергаем перспективные гипотезы.
- В медицине: не диагностировали реальное заболевание.
Ловушка на собесе
Любимый вопрос на собесе: «какую ошибку считать опаснее в A/B?». Зависит от контекста. Для «do no harm»-фич (платежи, реклама) опаснее I, для «discovery»-экспериментов — II. Не отвечайте «I» автоматически.