В A/B тесте всего по 25 пользователей на группу, конверсия 0/25 в контроле и 2/25 в варианте. Какой подход к проверке разницы долей обычно более аккуратен при такой малой выборке?

При малых выборках, особенно при нулевых успехах в одной группе, нормальное приближение z-test даёт неточные p-value. Точный биномиальный тест опирается на дискретное распределение и корректно работает при таких данных. Корреляция Пирсона тут не отвечает на вопрос про разницу долей. Решение «по графику» без статистики на 25 наблюдениях легко принять шум за эффект.