Вы сделали множественные сравнения (multiple comparisons): 20 независимых проверок при alpha = 0.05 и нашли одну метрику с p-value = 0.04. Что корректнее всего сказать про этот результат?

AРиск случайной «значимости» при множественных проверках выше, чем alpha 0.05, поэтому нужен заранее заданный план или поправка на множественность
BЭффект можно считать доказанным: p-value < 0.05 достаточно само по себе, поправки на число проверок здесь не требуются и только мешают
CЧем больше независимых проверок, тем меньше шанс ложной находки: лишние сравнения усредняют шум и снижают итоговую вероятность ошибки
DFWER всегда равен 0.05 независимо от числа тестов, потому что уровень alpha фиксируется заранее и не зависит от количества метрик
Правильный ответ. При множественных проверках вероятность хотя бы одной ложной находки растёт, и FWER превышает исходный alpha.

Разбор

Если проверок много, даже при отсутствии реальных эффектов часть p-value будет меньше 0.05 просто случайно. Это означает рост шанса получить хотя бы одну ложную 'победу' в семействе тестов, то есть рост FWER. Типичная ошибка — трактовать один случайный p-value как подтверждённый эффект без учёта количества проверок.

Проверь себя · 1/3разбор после ответа
Что означает контролировать FDR (доля ложных открытий среди отвергнутых гипотез) на уровне 0.1 в наборе гипотез?
Тренировать статистику в Telegram

Ещё вопросы по теме «Множественные сравнения»