Вы анализируете тест с одним контролем и восемью вариантами и хотите выбрать 2–3 кандидата для следующего подтверждающего теста. Почему в такой задаче иногда предпочитают контроль доли ложных открытий вместо поправки Бонферрони?

AПоправка Бонферрони даёт больше мощности при большом числе сравниваемых вариантов и лучше подходит для отбора кандидатов из набора
BКонтроль доли ложных открытий обычно позволяет отобрать больше кандидатов при удержании ожидаемой доли ложных находок среди отобранных
CКонтроль доли ложных открытий снимает необходимость заранее определять набор проверяемых гипотез и заменяет план автоматическим отбором
DКонтроль доли ложных открытий делает попарные сравнения между вариантами полностью независимыми и устраняет риск ложных находок
Правильный ответ. Контроль доли ложных открытий полезен в поисковой фазе: он допускает больше находок при удержании ожидаемой доли ложных среди отобранных кандидатов.

Разбор

Если цель — короткий список, вы можете согласиться на то, что часть кандидатов окажется ложной находкой, но хотите держать эту долю под контролем. Тогда контроль доли ложных открытий часто даёт лучший баланс между количеством сигналов и риском, чем строгая поправка Бонферрони. В подтверждающей фазе короткий список перепроверяют более строгими методами или в отдельном эксперименте. Утверждения про независимость сравнений или ненужность набора гипотез не соответствуют реальной механике метода.

Проверь себя · 1/3разбор после ответа
У вас 4 заранее запланированных сравнения, и нужно контролировать суммарную ошибку первого рода (FWER), но хочется быть менее консервативным, чем поправка Bonferroni. Что чаще выбирают?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»