Вы тестируете 200 гипотез по разным фичам и хотите контролировать FDR (долю ложных открытий среди отвергнутых гипотез), не теряя мощности так сильно, как при Bonferroni. Какой метод наиболее уместен?
AПоправка
Bonferroni: контролирует вероятность хотя бы одной ошибки I рода и обычно слишком строга при 200 тестахBПоправка
Holm: контролирует вероятность ошибки I рода в семействе, но не контролирует долю ложных открытийCНе делать поправку: одиночный
p-value сам по себе уже учитывает множественность тестирования по 200 фичамDПроцедура
Benjamini–Hochberg: контролирует долю ложных открытий и сохраняет больше мощности при многих тестахПравильный ответ. Для контроля доли ложных открытий в больших наборах тестов часто используют процедуру
Benjamini–Hochberg.Разбор
Поправки Bonferroni и Holm контролируют вероятность хотя бы одной ошибки I рода и поэтому обычно слишком консервативны при сотнях проверок. Если задача похожа на скрининг и важно держать долю ложных находок среди отвергнутых гипотез в пределах, логичнее контролировать FDR, и для этого подходит процедура Benjamini–Hochberg. Утверждение, что p-value сам учитывает множественность, неверно: каждый отдельный p-value рассчитан для одной проверки.
Проверь себя · 1/3разбор после ответа
Вы применяете процедуру
Benjamini–Hochberg для контроля FDR на уровне 0.05 к 5 проверкам с отсортированными p-value: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →