В A/B тесте получен эффект +1.2% и p-value = 0.06 при alpha = 0.05. Какое заключение корректно?
AНужно отвергнуть
H0, потому что значение p-value близко к alpha = 0.05 и фактически уже находится в зоне статистической значимости тестаBВероятность истинности альтернативной гипотезы
H1 ровно равна 94%, а вероятность истинности H0 равна 6% при таком наблюдаемом значении p-value в этом тестеCНа уровне
alpha = 0.05 нет оснований отвергнуть H0; это не доказывает отсутствие эффекта и может означать недостаточную мощность теста при текущей выборкеDЭффект точно равен нулю, раз
p-value > alpha, и любое наблюдаемое отклонение метрики от нуля связано исключительно со случайным шумом в данных экспериментаПравильный ответ. Если
p-value ≥ alpha, H0 не отвергают, но это не доказательство нулевого эффекта — может не хватать мощности теста.Разбор
Результат 0.06 означает, что при верной H0 такие данные не слишком редки для порога alpha = 0.05. Это может быть как «эффекта нет», так и «эффект есть, но данных мало», то есть высокая вероятность ошибки II рода и недостаточная мощность теста. Типичная ошибка — объявлять «почти значимо» как значимо или трактовать это как доказательство отсутствия эффекта. p-value также не равен вероятности истинности H1.
Проверь себя · 1/3разбор после ответа
Как корректно интерпретировать значение
p-value = 0.03 в проверке статистических гипотез?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
- При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
- Что означает выбор уровня значимости `alpha` = 0.01 в терминах ошибки I рода?
- Что обозначает параметр `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →