В A/B тесте разница средних всего 0.1%, но p-value < 0.001 из-за очень большого n. Что корректнее всего сказать про результат?

При огромных выборках даже очень маленькие эффекты становятся статистически значимыми. Поэтому рядом с p-value нужно смотреть оценку эффекта и доверительный интервал, чтобы понять масштаб и неопределённость. Типичная ошибка — принимать «значимо» за «важно для бизнеса» без оценки величины и стоимости изменений. И p-value не равен вероятности нулевой гипотезы: это вероятность данных при условии её истинности.