Команда получила p-value = 0.07 при заранее заявленном alpha = 0.05 и предлагает поднять alpha до 0.10, чтобы объявить результат значимым. Почему это плохая практика?
AПотому что
alpha никогда не может быть больше 0.05BПотому что тогда
beta обязательно станет равным 0CПотому что
p-value автоматически изменится на 0.05DПотому что
alpha нужно фиксировать до анализа данных; иначе растёт риск ошибки I рода и выводы становятся недостовернымиПравильный ответ.
alpha выбирают до просмотра данных, иначе возрастает риск ложноположительных результатов.Разбор
Если менять alpha после того, как увидели p-value, вы фактически подгоняете критерий под результат. Это увеличивает вероятность ошибки I рода и делает заявленную «значимость» несопоставимой с другими тестами. В корректном процессе либо придерживаются заранее выбранного alpha, либо планируют дополнительную выборку и пересчитывают дизайн, учитывая power.
Проверь себя · 1/3разбор после ответа
Два эксперимента имеют одинаковый размер выборки и одинаковый средний эффект, но во втором дисперсия метрики выше. Что обычно происходит с
power во втором эксперименте?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете метрику `conversion` между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке гипотез?
- При уровне значимости `alpha` = 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки?
- Что означает выбор `alpha` = 0.01 в терминах `ошибка I рода`?
- Что такое `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →