В огромной выборке вы получили статистически значимый результат: p-value меньше уровня значимости, но рост метрики составил всего +0.05 п.п. Что важнее всего проверить дальше?

На больших выборках статистическая значимость отделяется от практической: p-value чувствителен к n и фиксирует даже эффекты, которые не окупают разработку и поддержку. Поэтому первый шаг после маленького p-value — посчитать абсолютную и относительную величину эффекта, оценить экономику фичи и стоимость внедрения. p-value не равен вероятности альтернативной гипотезы — это распространённое заблуждение. Долгосрочное накопление и устойчивость на половинах выборки — полезные проверки, но они вторичны по сравнению с базовым вопросом «стоит ли овчинка выделки».