Команда получила p-value = 0.07 при заранее заявленном уровне значимости 0.05 и предлагает поднять его до 0.10, чтобы объявить результат значимым. Почему это плохая практика?

AУровень значимости в принципе не может быть больше 0.05 ни в одном дизайне эксперимента в индустрии: это формальное ограничение
BПри таком пересмотре вероятность ошибки II рода становится равной нулю и эксперимент полностью теряет смысл с точки зрения мощности
CУровень значимости нужно фиксировать до анализа данных, иначе растёт риск ошибки I рода и выводы становятся недостоверными
DПосле такого пересмотра p-value автоматически пересчитывается и становится равным выбранному порогу 0.05 по построению
Правильный ответ. Уровень значимости выбирают до просмотра данных, иначе возрастает риск ложноположительных результатов.

Разбор

Уровень значимости α фиксируется до анализа данных и не двигается под результат, иначе фактическая частота ошибок I рода превышает заявленную. Это классическая практика p-hacking: когда пороги подгоняют под наблюдаемый p-value, реальная вероятность ложного срабатывания оказывается значительно выше декларируемой. Уровень значимости 0.10 в принципе допустим в некоторых задачах (например, в скрининговых исследованиях), просто его нужно объявить заранее. Ни ошибка II рода, ни сам p-value от пересмотра порога не пересчитываются автоматически.

Проверь себя · 1/3разбор после ответа
Как связаны мощность теста power и вероятность ошибки II рода beta?
Тренировать статистику в Telegram

Ещё вопросы по теме «Основы проверки гипотез»