Какое утверждение про p-value является корректным?
A
p-value означает вероятность того, что нулевая гипотеза истинна при наблюдаемых данных в экспериментеB
p-value означает вероятность получить такие или более экстремальные данные при условии, что нулевая гипотеза вернаC
p-value означает вероятность того, что эффект больше нуля и тестируемое изменение приносит реальную пользуD
p-value напрямую показывает, насколько эффект полезен для бизнеса и стоит ли выкатывать изменение в продуктПравильный ответ. Корректная интерпретация
p-value всегда условна на предположение, что нулевая гипотеза верна.Разбор
p-value отвечает на вопрос про редкость данных при условии истинной нулевой гипотезы, а не про вероятность гипотез. Из-за этого его легко неверно трактовать как вероятность истинности нулевой гипотезы или вероятность успеха варианта. Для практических решений дополнительно оценивают размер эффекта и его доверительный интервал. Связь p-value с бизнес-полезностью эффекта косвенная и требует отдельной интерпретации.
Проверь себя · 1/3разбор после ответа
Команда зафиксировала уровень значимости
alpha 0.05. Что это в первую очередь контролирует в терминах ошибок?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →