Что описывает контроль FDR в процедурах вроде Benjamini–Hochberg?
AВероятность хотя бы одного
false positives среди всех тестов.BВероятность того, что конкретный найденный эффект ложный.
CСредний уровень
alpha по всем тестам.DОжидаемую долю
false positives среди отклонённых гипотез (объявленных значимыми).Правильный ответ.
FDR контролирует ожидаемую долю ложных находок среди всех объявленных значимыми результатов.Разбор
Это другой критерий, чем family-wise error: он допускает, что некоторые находки могут оказаться ложными, но ограничивает их долю в среднем. Такой подход часто применяют в поисковом анализе, когда проверок много. При этом важно помнить, что FDR не гарантирует безошибочность каждой отдельной находки.
Проверь себя · 1/3разбор после ответа
У вас 4 заранее запланированных сравнения и нужно контролировать
family-wise error (суммарная ошибка первого рода), но хочется быть менее консервативным, чем Bonferroni. Что чаще выбирают?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска `false positives`, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В `A/B/n` у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции `multiple comparisons`?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует `alpha` 0.05 без коррекции. Что происходит с вероятностью получить хотя бы один `false positives` среди всех сравнений?
- Что означает контроль `family-wise error` (суммарная ошибка первого рода) в задаче `multiple comparisons`?
- Какое утверждение верно про коррекцию `Bonferroni` при `multiple comparisons`?
- Все вопросы по «Множественное тестирование» →