Вы применяете процедуру Benjamini–Hochberg для контроля FDR на уровне 0.05 к 5 проверкам с отсортированными p-value: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
A3
B1
C4
D0
Правильный ответ. В
Benjamini–Hochberg ищут максимальный индекс i, где p_i <= (i/m)*q.Разбор
Здесь пороги равны 0.01, 0.02, 0.03, 0.04, 0.05 для m=5 и q=0.05. Первые три p-value проходят свои пороги, а четвёртый (0.07) не проходит 0.04. Поэтому отклоняются первые три гипотезы. Типичная ошибка — отклонять только те, что меньше 0.05, не учитывая правило Benjamini–Hochberg.
Проверь себя · 1/3разбор после ответа
Вы тестируете 200 гипотез по разным фичам и хотите контролировать
FDR, чтобы не потерять слишком много мощности, как при Bonferroni. Какой метод наиболее уместен?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках?
- Вы делаете 10 проверок и хотите контролировать `FWER` на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но `Bonferroni` кажется слишком консервативным. Какое утверждение про `Holm` наиболее верное?
- У вас два сценария: (1) критичное решение по безопасности, (2) поиск идей среди 50 метрик для следующего спринта. Какое сочетание контроля ошибок чаще всего разумно?
- Все вопросы по «Множественные сравнения» →