Вы заранее выбрали alpha 0.05. В результате теста получили p-value 0.06. Какой вывод корректнее всего?
AЭффекта здесь нет:
p-value больше alpha, и H0 можно считать полностью подтверждённой гипотезой.BНедостаточно оснований отклонить
H0 на уровне alpha 0.05, но это не доказывает отсутствие эффекта.CВариант B значимо хуже: раз
p-value больше alpha, есть основание для вывода о статистическом ухудшении.DРезультат недействителен: тест надо перезапустить на удвоенной выборке
n, иначе любые выводы по p-value некорректны.Правильный ответ.
p-value больше alpha означает, что данных не хватает, чтобы отвергнуть H0, но это не равно «эффекта нет».Разбор
p-value 0.06 при alpha 0.05 говорит лишь о том, что наблюдаемые данные не выглядят достаточно редкими при H0. Это не доказательство того, что эффекта нет: возможно, эксперимент недомощный или эффект просто меньше, чем способен поймать тест. Делать вывод «B хуже» по большому p-value неверно: тест не подтверждает направление эффекта в сторону ухудшения. И сам по себе p-value чуть выше границы — не повод считать тест «недействительным» и автоматически удваивать выборку.
Проверь себя · 1/3разбор после ответа
В A/B тесте для конверсии вы получили
p-value = 0.03 при проверке H0 об отсутствии разницы между группами. Какая интерпретация корректна?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →