Вы заранее выбрали alpha 0.05. В результате теста получили p-value 0.06. Какой вывод корректнее всего?
AЭффекта точно нет, можно принимать
H0 как доказанную.BНедостаточно оснований отклонить
H0 на уровне alpha 0.05, но это не доказывает отсутствие эффекта.CВариант B точно хуже, потому что
p-value больше 0.05.DНужно обязательно повторить тест, иначе результат недействителен.
Правильный ответ. Если
p-value больше alpha, обычно не отклоняют H0, но это не равно доказательству нулевого эффекта.Разбор
p-value 0.06 означает, что наблюдаемые данные не достаточно редки при H0 для порога alpha 0.05. Это может быть связано и с малым эффектом, и с недостаточной мощностью. Полезно посмотреть на confidence interval и оценить, включает ли он практически важные эффекты.
Проверь себя · 1/3разбор после ответа
В A/B тесте для конверсии вы получили
p-value 0.03 при проверке H0 об отсутствии разницы. Какая интерпретация корректна?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` 0.03 при проверке `H0` об отсутствии разницы. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% `confidence interval`: от -0.2% до +1.4%. Что можно сказать о статистической значимости при `alpha` 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B тесте при огромной выборке вы получили `p-value` < 0.001, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →