Вы смотрите 20 метрик и для каждой проверяете гипотезу на уровне значимости 0.05, объявляя успехом любую метрику, где p-value < 0.05. Какой риск возрастает сильнее всего?

Даже если каждая отдельная проверка имеет уровень значимости 0.05, при большом числе метрик растёт вероятность хотя бы одного ложноположительного результата по всему набору. Это может привести к ошибочному выводу об успехе на основе случайного шума. Чтобы этого избежать, заранее фиксируют основные и страховочные метрики и при необходимости применяют поправки на множественные сравнения. Риск ошибки II рода тут не уходит в ноль, ширина доверительных интервалов от числа сравнений сама по себе не уменьшается, а p-value ничего не говорит о вероятности истинности H0.