Вы смотрите 20 метрик и для каждой делаете проверку на уровне alpha 0.05, а затем объявляете успехом любую метрику, где p-value < 0.05. Какой риск возрастает сильнее всего?

Даже если каждая проверка имеет alpha 0.05, при большом числе метрик растёт вероятность хотя бы одного ложноположительного результата. Это может привести к выводу об успехе на основе случайного шума. Практика — заранее фиксировать основные метрики и, при необходимости, применять подходы контроля множественных проверок.