У вас два сценария: (1) критичное решение по безопасности, (2) поиск идей среди 50 метрик для следующего спринта. Какое сочетание контроля ошибок чаще всего разумно?
AВ обоих случаях использовать только
FDR, потому что он мощнее и реже даёт ложные пропускиBДля безопасности контролировать
FWER, а для скрининга идей — FDRCВ обоих случаях не делать поправок:
p-value уже корректно учитывает множественные сравненияDДля безопасности использовать
Benjamini–Hochberg, а для скрининга идей — BonferroniПравильный ответ.
FWER обычно выбирают для высоких ставок, а FDR — для исследовательского скрининга.Разбор
При решениях по безопасности важно минимизировать риск любой ложной находки, поэтому выбирают контроль FWER — например, поправку Бонферрони. При скрининге большого числа гипотез важнее иметь больше мощности и контролировать долю ложных находок среди отвергнутых, поэтому используют FDR (например, процедуру Бенджамини–Хохберга). Применять одинаковую строгость к разным по цене ошибки задачам — типичная ошибка: либо теряете мощность, либо принимаете опасный риск.
Проверь себя · 1/3разбор после ответа
Что означает контролировать FDR (доля ложных открытий среди отвергнутых гипотез) на уровне 0.1 в наборе гипотез?
Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →