Какое утверждение про p-value наиболее верное?
A
p-value показывает величину эффекта в процентахB
p-value показывает, насколько данные (или более экстремальные) совместимы с H0C
p-value всегда равен alpha, если тест корректныйD
p-value — это вероятность того, что H0 истиннаПравильный ответ.
p-value — это про совместимость данных с H0, а не про размер эффекта и не про вероятность истинности гипотез.Разбор
p-value вычисляется при предположении, что H0 верна, и измеряет «насколько необычны» данные при этом предположении. Он не говорит, большой ли эффект, и не сообщает вероятность гипотез. Типичная ловушка — считать маленький p-value доказательством большой пользы или гарантии успеха.
Проверь себя · 1/3разбор после ответа
Два эксперимента имеют одинаковый размер выборки и одинаковый средний эффект, но во втором дисперсия метрики выше. Что обычно происходит с
power во втором эксперименте?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете метрику `conversion` между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке гипотез?
- При уровне значимости `alpha` = 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки?
- Что означает выбор `alpha` = 0.01 в терминах `ошибка I рода`?
- Что такое `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →