В решении «выпускать фичу или нет» пусть H0 означает: фича не улучшает метрику. Что такое ошибка I и ошибка II рода в этом контексте?
AОшибка I рода: не выпустить улучшение
H1; ошибка II рода: выпустить ухудшение, обратная трактовка определенийBОшибка I рода: принять
H0, когда нулевая гипотеза верна; ошибка II рода: отвергнуть её, когда она ложнаCОшибка I рода: выпустить фичу, хотя
H0 верна; ошибка II рода: не выпустить фичу, хотя H1 вернаDОшибка I и II рода: разные названия
p-value для одной и той же проверяемой гипотезы H0Правильный ответ. Ошибка I рода — ложноположительное решение (отвергли верную
H0), а ошибка II рода — ложноотрицательное (не отвергли ложную H0).Разбор
Если H0 верна, а вы всё равно выпускаете фичу, это ошибка I рода: «нашли улучшение там, где его нет». Если верна H1, но вы не выпустили улучшение, это ошибка II рода, связанная с beta. Баланс рисков определяет выбор alpha, целевой мощности и размера выборки. Вариант с заменой определений местами — частая путаница, а связь с p-value — некорректное упрощение.
Проверь себя · 1/3разбор после ответа
Два эксперимента имеют одинаковый размер выборки и одинаковый средний эффект, но во втором дисперсия метрики выше. Что обычно происходит с мощностью во втором эксперименте?
Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
- При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
- Что означает выбор уровня значимости `alpha` = 0.01 в терминах ошибки I рода?
- Что обозначает параметр `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →