Вы сделали множественные сравнения (multiple comparisons): 20 независимых проверок при alpha = 0.05 и нашли одну метрику с p-value = 0.04. Что корректнее всего сказать про этот результат?
AРиск случайной 'значимости' выше, чем 0.05, поэтому нужен заранее заданный план или поправка на множественность
BЭффект доказан, потому что
p-value < 0.05, и поправки не нужныCЧем больше проверок, тем меньше шанс ложной находки
D
FWER всегда равен 0.05 независимо от числа тестовПравильный ответ. При
multiple comparisons вероятность хотя бы одной ложной находки растёт.Разбор
Если проверок много, даже при отсутствии реальных эффектов часть p-value будет меньше 0.05 просто случайно. Это означает рост шанса получить хотя бы одну ложную 'победу' в семействе тестов, то есть рост FWER. Типичная ошибка — трактовать один случайный p-value как подтверждённый эффект без учёта количества проверок.
Проверь себя · 1/3разбор после ответа
Вы применяете процедуру
Benjamini–Hochberg для контроля FDR на уровне 0.05 к 5 проверкам с отсортированными p-value: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?Ещё вопросы по теме «Множественные сравнения»
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках?
- Вы делаете 10 проверок и хотите контролировать `FWER` на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но `Bonferroni` кажется слишком консервативным. Какое утверждение про `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- У вас два сценария: (1) критичное решение по безопасности, (2) поиск идей среди 50 метрик для следующего спринта. Какое сочетание контроля ошибок чаще всего разумно?
- Все вопросы по «Множественные сравнения» →