В тесте вы получили p-value 0.20. Какой вывод наиболее корректен?
AДанных не хватает, чтобы отвергнуть
H0 на стандартных уровнях значимости: полезно посмотреть и на размер эффекта, и на доверительный интервал.BВероятность того, что
H0 верна, равна 20%, поэтому с уверенностью 80% гипотеза подтверждена и эксперимент можно завершать.CПолученный
p-value равен 0.20, значит наблюдаемый эффект составляет 20% относительно базовой метрики контрольной группы.DЭто означает, что вариант B превосходит контрольную группу с вероятностью 80% и эффект уже считается статистически значимым.
Правильный ответ.
p-value 0.20 говорит лишь о том, что данных не хватает для отказа от H0 на стандартных уровнях, но не доказывает отсутствие эффекта.Разбор
p-value — это вероятность увидеть данные, такие же или более экстремальные, при условии, что H0 верна. Это не вероятность самой H0 и не размер эффекта в процентах. Большое p-value может появиться и при ненулевом эффекте, если выборка маленькая или метрика шумная — особенно полезно посмотреть на доверительный интервал и оценку практической значимости. Вывод «B побеждает с вероятностью 80%» некорректно интерпретирует частотную статистику и приравнивает 1 − p к вероятности гипотезы, чего p-value не делает.
Проверь себя · 1/3разбор после ответа
Вы меняете уровень значимости с
alpha 0.05 на alpha 0.10, оставляя размер выборки прежним. Какой эффект на ошибки наиболее вероятен?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →