Почему в продуктовых A/B тестах часто полезнее смотреть не только на p-value, но и на доверительный интервал?

Маленький p-value говорит лишь о том, что наблюдаемые данные были бы редкими при H0, но ничего не сообщает ни о величине, ни о направлении эффекта. Доверительный интервал даёт оценку диапазона: правдоподобный эффект может быть и +0.1%, и +15% — это совершенно разные решения для бизнеса. Поэтому интервал помогает отделить статистическую значимость от практической. Никакой гарантии «эффект сохранится в том же виде» интервал не даёт, и уровень значимости он не отменяет: интервал и тест — это два согласованных взгляда на одну и ту же оценку.