p-value vs α: разница и как объяснить на собесе
p-value и α (alpha) — два разных понятия, но их часто путают. α — заранее зафиксированный порог. p-value — вероятность увидеть данные не хуже наших, если H0 верна. На собесе ждут понимания: p-value сравнивают с α, а не наоборот.
Если коротко. α — порог, который вы выбрали ДО эксперимента (обычно 0.05). p-value — то, что вы получили из данных. Если p < α, отвергаем H0.
Проверь себя · 1/3разбор после ответа
Метрика времени ответа поддержки имеет длинный правый хвост: большинство обращений закрывается быстро, но иногда встречаются очень долгие случаи. Какая мера центра обычно лучше отражает 'типичное' значение?
p-value vs α (уровень значимости): таблица различий
Когда использовать p-value
- Когда оцениваете силу свидетельства против H0 (чем меньше, тем сильнее).
- Когда сравниваете с заранее выбранным α.
- Когда хотите сообщить «насколько неожиданны данные при H0».
Когда использовать α (уровень значимости)
- Когда планируете эксперимент: фиксируете α до сбора данных.
- Когда оцениваете риск ошибки I рода.
- Когда балансируете с мощностью и MDE.
Ловушка на собесе
Главное заблуждение: «p-value = вероятность, что H0 верна». Это неправда. p-value — вероятность данных при условии H0. Сместить вероятность гипотезы можно только байесом — там и нужен prior.