Вы протестировали 12 сегментов и применили Holm для контроля семейной ошибки I рода (FWER). Какой вариант отчёта наиболее корректен?
AУказать только сегменты с
p-value < 0.05 и опустить остальные проверки Holm для упрощения выводов бизнес-аудитории отчётаBУказать применение
Holm при alpha = 0.05 и трактовать скорректированный p-value как вероятность нулевой гипотезыCУказать 12 проверок и применение
Holm при alpha = 0.05: значимыми считать результаты со скорректированным p-value < 0.05DУказать факт коррекции через
Holm, но число проверок и точный alpha опустить ради компактности отчёта по сегментамПравильный ответ. Корректный отчёт явно фиксирует семейство тестов, метод поправки и правило принятия решений.
Разбор
Для прозрачного отчёта по множественным сравнениям нужно указать общее число проверок (тут 12), применённую процедуру (Holm), уровень alpha и приводить скорректированные p-value. Опускать число проверок нельзя: тогда читатель не может оценить силу поправки. Опускать сегменты с p-value > 0.05 — скрытое cherry-picking. Скорректированный p-value не равен вероятности H0 — это сохранение того же ошибочного толкования, что и для нескорректированного p-value.
Проверь себя · 1/3разбор после ответа
Что означает контролировать FDR (доля ложных открытий среди отвергнутых гипотез) на уровне 0.1 в наборе гипотез?
Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →