Команда получила p-value = 0.07 при заранее заявленном alpha = 0.05 и предлагает поднять alpha до 0.10, чтобы объявить результат значимым. Почему это плохая практика?

AПотому что alpha никогда не может быть больше 0.05
BПотому что тогда beta обязательно станет равным 0
CПотому что p-value автоматически изменится на 0.05
DПотому что alpha нужно фиксировать до анализа данных; иначе растёт риск ошибки I рода и выводы становятся недостоверными
Правильный ответ. alpha выбирают до просмотра данных, иначе возрастает риск ложноположительных результатов.

Разбор

Если менять alpha после того, как увидели p-value, вы фактически подгоняете критерий под результат. Это увеличивает вероятность ошибки I рода и делает заявленную «значимость» несопоставимой с другими тестами. В корректном процессе либо придерживаются заранее выбранного alpha, либо планируют дополнительную выборку и пересчитывают дизайн, учитывая power.

Проверь себя · 1/3разбор после ответа
Два эксперимента имеют одинаковый размер выборки и одинаковый средний эффект, но во втором дисперсия метрики выше. Что обычно происходит с power во втором эксперименте?
Тренировать статистику в Telegram

Ещё вопросы по теме «Основы проверки гипотез»