В эксперименте вы заранее объявили 5 primary metrics и будете считать успехом, если хотя бы по одной p-value < alpha. Что происходит с общей вероятностью ложноположительного вывода и что обычно делают лучше?

Когда вы делаете несколько проверок и выбираете любую значимую, шанс случайно получить хотя бы один ложный сигнал растет. Поэтому общий уровень ошибки уже не равен исходному alpha. На практике заранее фиксируют одну primary metric или применяют контроль множественных проверок, например Bonferroni, чтобы ограничить общий риск ложноположительных выводов.