Команда получила p-value = 0.07 при заранее заявленном уровне значимости 0.05 и предлагает поднять его до 0.10, чтобы объявить результат значимым. Почему это плохая практика?
AУровень значимости в принципе не может быть больше 0.05 ни в одном дизайне эксперимента в индустрии: это формальное ограничение
BПри таком пересмотре вероятность ошибки II рода становится равной нулю и эксперимент полностью теряет смысл с точки зрения мощности
CУровень значимости нужно фиксировать до анализа данных, иначе растёт риск ошибки I рода и выводы становятся недостоверными
DПосле такого пересмотра
p-value автоматически пересчитывается и становится равным выбранному порогу 0.05 по построениюПравильный ответ. Уровень значимости выбирают до просмотра данных, иначе возрастает риск ложноположительных результатов.
Разбор
Уровень значимости α фиксируется до анализа данных и не двигается под результат, иначе фактическая частота ошибок I рода превышает заявленную. Это классическая практика p-hacking: когда пороги подгоняют под наблюдаемый p-value, реальная вероятность ложного срабатывания оказывается значительно выше декларируемой. Уровень значимости 0.10 в принципе допустим в некоторых задачах (например, в скрининговых исследованиях), просто его нужно объявить заранее. Ни ошибка II рода, ни сам p-value от пересмотра порога не пересчитываются автоматически.
Проверь себя · 1/3разбор после ответа
Как связаны мощность теста
power и вероятность ошибки II рода beta?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
- При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
- Что означает выбор уровня значимости `alpha` = 0.01 в терминах ошибки I рода?
- Что обозначает параметр `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →