В тесте вы получили p-value 0.20. Какой вывод наиболее корректен?
AДанные не дают оснований отклонить
H0 на стандартных уровнях значимости, но это может быть из-за низкой мощности, поэтому стоит посмотреть на confidence interval и размер эффекта.BВероятность того, что
H0 верна, равна 20%, а значит с 80%-й уверенностью гипотеза подтверждена и эксперимент можно останавливать.CПолученное значение
p-value = 0.20 показывает, что наблюдаемый эффект по абсолютной величине составляет 20% относительно базовой метрики.DЭто означает 80% вероятность того, что вариант B превосходит контрольную группу, и результат можно считать статистически значимым.
Правильный ответ. Большой
p-value означает недостаток свидетельств против H0, но не доказывает отсутствие эффекта.Разбор
p-value 0.20 говорит, что наблюдаемые данные не выглядят редкими при H0. Однако это может происходить и при наличии эффекта, если эксперимент недомощный или метрика слишком шумная. Поэтому полезно интерпретировать p-value вместе с confidence interval и оценкой практической значимости.
Проверь себя · 1/3разбор после ответа
Для uplift выручки 95%
confidence interval равен от +0.1% до +0.3% (0 не входит), но бизнес считает полезным только эффект от +2% и выше. Какой вывод наиболее корректен?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` 0.03 при проверке `H0` об отсутствии разницы. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% `confidence interval`: от -0.2% до +1.4%. Что можно сказать о статистической значимости при `alpha` 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B тесте при огромной выборке вы получили `p-value` < 0.001, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →