Почему в продуктовых A/B тестах часто полезнее смотреть не только на p-value, но и на confidence interval?

Ap-value всегда показывает размер эффекта, поэтому интервал нужен только для красоты.
Bconfidence interval показывает диапазон правдоподобных эффектов и помогает оценить практическую значимость, а p-value в основном отвечает про статистическую значимость.
Cconfidence interval гарантирует, что эффект будет таким же при выкатывании в прод.
Dconfidence interval заменяет необходимость выбирать alpha.
Правильный ответ. confidence interval добавляет контекст о величине эффекта и неопределённости, который p-value сам по себе не даёт.

Разбор

p-value отвечает на вопрос, насколько данные несовместимы с H0 при выбранном alpha, но не показывает диапазон возможных значений эффекта. confidence interval позволяет увидеть, насколько эффект может быть большим или малым и включает ли он бизнес-значимые значения. Это делает решение более осмысленным и снижает риск принять статистически значимый, но бесполезный результат.

Проверь себя · 1/3разбор после ответа
Вы сравниваете средний чек в группах A и B (не долю), а дисперсии заранее неизвестны. Какой базовый тест чаще всего используют для сравнения средних?
Тренировать A/B в Telegram

Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»