Для двусторонней проверки на уровне значимости 0.05 какое утверждение обычно верно при корректно построенном 95% доверительном интервале для разницы B − A?

AЕсли интервал включает 0, p-value будет в точности 0.05, а границы интервала совпадают с порогом значимости теста.
BЧем уже доверительный интервал, тем больше p-value для разницы B − A, а ширина интервала равна самому p-value.
CЕсли интервал не включает 0, то p-value обычно меньше 0.05: вывод теста и интервала согласован.
DЕсли интервал включает 0, вероятность нулевого эффекта равна 95% и эффект уверенно отсутствует в данных.
Правильный ответ. При корректно построенном 95% доверительном интервале для двусторонней проверки H0: эффект = 0 отвергается на уровне 5% тогда и только тогда, когда интервал не включает 0.

Разбор

Двусторонний тест на уровне 0.05 и 95% доверительный интервал — это две стороны одного и того же вычисления. Если 0 не попал в интервал, p-value для гипотезы «эффект = 0» меньше 0.05, и наоборот. Поэтому утверждение про равенство p-value ширине интервала бессмысленно: ширина в единицах метрики, а p-value — вероятность. Утверждение «вероятность нулевого эффекта 95%» путает уровень доверия с вероятностью гипотезы и не соответствует частотной интерпретации интервалов.

Проверь себя · 1/3разбор после ответа
Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
Тренировать A/B в Telegram

Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»