Аналитик пробует 5 вариантов определения конверсии (разные окна) и выбирает тот, где p-value минимален. Как правильнее всего описать проблему?

Если вы попробовали несколько определений метрики и выбрали то, где результат лучше, вы повышаете шанс случайной находки. Даже если формально вы показываете один p-value, за ним стоит несколько попыток. Типичная защита — заранее зафиксировать определение, либо явно маркировать анализ как исследовательский и подтверждать на новом запуске. Контроль FDR сам по себе не возникает, а поправка Bonferroni к одному уже выбранному окну не лечит проблему отбора по результату.