В A/B-тесте группы сформированы случайно, а распределение метрики далеко от нормального. Вам нужен p-value для H0: разницы нет. Что наиболее естественно использовать?

Перестановочный тест строит распределение статистики при H0 через перестановки меток, что хорошо сочетается с логикой рандомизации. Это особенно полезно для метрик с тяжёлыми хвостами или нестандартных статистик. Типичная ошибка — применять permutation test к данным, где группы не обменяемы (например, разные источники трафика), и получать некорректный p-value.