Аналитик попробовал 8 разных covariate (ковариата — вспомогательная переменная) для CUPED (Controlled-experiment Using Pre-Experiment Data) и выбрал ту, при которой получился самый маленький p-value для effect. Что в этом подходе наиболее проблемно?

Когда вы пробуете много вариантов и выбираете самый удачный по p-value, вы по сути делаете множественные проверки. Даже при отсутствии реального effect можно случайно найти настройку, которая выглядит значимой. Чтобы избежать этого, covariate (ковариата — вспомогательная переменная) и метод variance reduction лучше зафиксировать до эксперимента или использовать отдельные данные для выбора. Иначе результаты становятся менее доверенными и хуже воспроизводятся.