У вас 4 заранее запланированных сравнения, и нужно контролировать суммарную ошибку первого рода (FWER), но хочется быть менее консервативным, чем поправка Bonferroni. Что чаще выбирают?
AПоправка
Benjamini–Hochberg: контролирует долю ложных открытий FDR, а не суммарную ошибку первого рода FWERBПоправка
Holm: контролирует тот же FWER, что и Bonferroni, но обычно мощнее на тех же данныхCПросто увеличить уровень значимости alpha до 0.1 и тем самым сохранить прежний контроль FWER
DОтказаться от поправки на множественные сравнения, опираясь на заранее известный план гипотез
Правильный ответ. Поправка
Holm контролирует ту же суммарную ошибку первого рода, что и Bonferroni, но обычно мощнее.Разбор
Поправка Holm сохраняет ту же цель — контроль суммарной ошибки первого рода (FWER), но устроена ступенчато, поэтому обычно мощнее Bonferroni и пропускает больше реальных эффектов. Это полезно, когда сравнений немного и нужна строгая защита, но хочется снизить потери мощности. Benjamini–Hochberg контролирует другую величину — долю ложных открытий, а не FWER. Просто поднять уровень значимости или отказаться от поправки — значит сознательно увеличить риск ложных выводов.
Проверь себя · 1/3разбор после ответа
Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог
alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска ложноположительных результатов, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В эксперименте `A/B/n` у вас контроль A и варианты B и C, и вы готовы запустить любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для поправки на множественные сравнения?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог `alpha = 0.05` без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
- Что означает контроль `FWER` (вероятности хотя бы одной ошибки I рода) в задаче с множественными сравнениями?
- Какое утверждение верно про коррекцию `Bonferroni` при множественных сравнениях?
- Все вопросы по «Множественное тестирование» →