В решении «выпускать фичу или нет» пусть H0 означает: фича не улучшает метрику (эффект 0 или хуже). Что такое ошибка I и ошибка II рода в этом контексте?
AОшибка I рода: не выпустить улучшение; ошибка II рода: выпустить ухудшение
BОшибка I рода: принять
H0, когда H0 верна; ошибка II рода: отвергнуть H0, когда H0 ложнаCОшибка I рода: выпустить фичу, хотя
H0 верна; ошибка II рода: не выпустить фичу, хотя H1 вернаDОшибка I и II рода — это просто разные названия
p-valueПравильный ответ. Ошибка I рода — ложноположительное решение (отвергли верную
H0), а ошибка II рода — ложноотрицательное (не отвергли ложную H0).Разбор
Если H0 верна, а вы всё равно выпускаете фичу, вы совершаете ошибку I рода: «нашли улучшение там, где его нет». Если H1 верна, но вы не выпускаете улучшение, это ошибка II рода, связанная с beta. В практике баланс между рисками ошибок определяет выбор alpha, целевой power и размер выборки.
Проверь себя · 1/3разбор после ответа
Для двустороннего теста при
alpha = 0.05 построен 95% доверительный интервал для эффекта: [-0.2; 0.1]. Что следует сказать о проверке H0: delta = 0?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете метрику `conversion` между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке гипотез?
- При уровне значимости `alpha` = 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки?
- Что означает выбор `alpha` = 0.01 в терминах `ошибка I рода`?
- Что такое `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →