Вы анализируете тест с одним контролем и восемью вариантами и хотите выбрать 2–3 кандидата для следующего подтверждающего теста. Почему в такой задаче иногда предпочитают контроль доли ложных открытий вместо поправки Бонферрони?
AПоправка Бонферрони даёт больше мощности при большом числе сравниваемых вариантов и лучше подходит для отбора кандидатов из набора
BКонтроль доли ложных открытий обычно позволяет отобрать больше кандидатов при удержании ожидаемой доли ложных находок среди отобранных
CКонтроль доли ложных открытий снимает необходимость заранее определять набор проверяемых гипотез и заменяет план автоматическим отбором
DКонтроль доли ложных открытий делает попарные сравнения между вариантами полностью независимыми и устраняет риск ложных находок
Правильный ответ. Контроль доли ложных открытий полезен в поисковой фазе: он допускает больше находок при удержании ожидаемой доли ложных среди отобранных кандидатов.
Разбор
Если цель — короткий список, вы можете согласиться на то, что часть кандидатов окажется ложной находкой, но хотите держать эту долю под контролем. Тогда контроль доли ложных открытий часто даёт лучший баланс между количеством сигналов и риском, чем строгая поправка Бонферрони. В подтверждающей фазе короткий список перепроверяют более строгими методами или в отдельном эксперименте. Утверждения про независимость сравнений или ненужность набора гипотез не соответствуют реальной механике метода.
Проверь себя · 1/3разбор после ответа
У вас 4 заранее запланированных сравнения, и нужно контролировать суммарную ошибку первого рода (FWER), но хочется быть менее консервативным, чем поправка
Bonferroni. Что чаще выбирают?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска ложноположительных результатов, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В эксперименте `A/B/n` у вас контроль A и варианты B и C, и вы готовы запустить любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для поправки на множественные сравнения?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог `alpha = 0.05` без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
- Что означает контроль `FWER` (вероятности хотя бы одной ошибки I рода) в задаче с множественными сравнениями?
- Какое утверждение верно про коррекцию `Bonferroni` при множественных сравнениях?
- Все вопросы по «Множественное тестирование» →