В A/B-тесте при огромной выборке вы получили p-value < 0.001, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?

При больших выборках даже очень маленькие эффекты становятся статистически значимыми. Поэтому важно смотреть на размер эффекта и сравнивать его с бизнес-порогом, а также на доверительный интервал, чтобы понимать диапазон возможных значений. Решение о выкатывании учитывает стоимость внедрения и ожидаемую выгоду. Маленький p-value не гарантирует большой эффект, не означает поломки теста и не подтверждает нулевую гипотезу — это лишь сигнал о статистической различимости.