При фиксированном размере выборки и фиксированном реальном эффекте что обычно произойдёт с вероятностью ошибки II рода (beta), если уменьшить порог значимости (alpha), сделав критерий строже?
AВероятность ошибки II рода уменьшится, потому что более строгий критерий якобы делает тест точнее
BВероятность ошибки II рода не изменится, ведь ошибки I и II рода устроены полностью независимо
CВероятность ошибки II рода увеличится, а мощность теста снизится при том же размере выборки
DВероятность ошибки II рода станет равна вероятности ошибки I рода и обе будут равны новому порогу
Правильный ответ. При фиксированной выборке более строгий порог значимости обычно повышает вероятность ошибки II рода и снижает мощность теста.
Разбор
Когда вы уменьшаете порог значимости, вы реже отклоняете нулевую гипотезу, то есть снижаете риск ошибки I рода. Но при том же размере выборки это обычно повышает риск не заметить настоящий эффект — вероятность ошибки II рода (beta) растёт, а мощность теста (power = 1 − beta) падает. Ловушка — думать, что можно одновременно сильно уменьшить и alpha, и beta без увеличения выборки или улучшения дизайна. На практике этот компромисс лечится ростом n или снижением дисперсии метрики.
Проверь себя · 1/3разбор после ответа
В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка
H0/H1 корректна для двусторонней проверки отличий?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
- При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
- Что означает выбор уровня значимости `alpha` = 0.01 в терминах ошибки I рода?
- Что обозначает параметр `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →