В эксперименте у вас 1 основная метрика и 3 защитных метрики, а также 10 сегментных разрезов. Какой подход к принятию решения наиболее корректен с точки зрения множественных проверок?
AОбъявлять успех при
p-value < 0.05 хотя бы по одной из метрик в любом сегменте: число проверок не корректируется заранееBЗаранее зафиксировать правило: основной эффект отдельно, защитные метрики как ограничения, сегменты исследовательские либо с поправкой
CВыбирать сегмент с лучшим
p-value и считать его основной аудиторией эксперимента, остальные результаты в отчёт не включатьDПрименять поправку
Bonferroni только к метрикам, которые оказались незначимыми, чтобы вытянуть результат и улучшить картинуПравильный ответ. Нужно заранее заданное правило принятия решения: что первично, что ограничения и как трактуются сегменты при множественных сравнениях.
Разбор
Структура решения с одной основной метрикой и защитными ограничениями называется decision rule: основная проверяется на заявленном уровне, защитные используются как guard-условия (не должны ухудшиться значимо), сегментные разрезы либо помечаются исследовательскими и подтверждаются отдельно, либо корректируются на множественность. Это исключает рассуждения «хоть одна метрика где-то значима» и подбор сегментов постфактум. Применять поправку только к незначимым метрикам — это инвертировать логику и систематически завышать число находок.
Проверь себя · 1/3разбор после ответа
Вы применяете процедуру
Benjamini–Hochberg для контроля FDR на уровне 0.05 к 5 проверкам с отсортированными p-value: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →