Вы заранее определили одну основную метрику успеха, но после эксперимента дополнительно посмотрели ещё 10 вторичных метрик. Как корректнее всего оформить принятие решения?
AПринимать решение по заранее заданной основной метрике, остальные пометить как вторичные и при необходимости применять поправки
BВыбирать метрику с минимальным
p-value из всех 11 и задним числом объявлять её основной метрикой экспериментаCСчитать эксперимент успешным, если хотя бы одна из 11 метрик значима на уровне 0.05 без поправок на множественные сравнения
DПринимать решение по среднему
p-value всех 11 метрик: если оно меньше 0.05, считать общий эффект достаточно подтверждённымПравильный ответ. Заранее заданная основная метрика снижает риск ошибок из-за множественных сравнений.
Разбор
Корректная практика — заранее зафиксировать одну (или несколько) основную метрику и принимать решение по ней; остальные метрики идут как вторичные и используются для понимания механизма эффекта, причём по ним применяют поправку на множественность. Выбор основной метрики постфактум по минимальному p-value — типичный cherry-picking. Стратегия «хоть одна значима без поправок» прямо раздувает FWER. Усреднение p-value не имеет статистического обоснования — это не валидная процедура комбинирования тестов.
Проверь себя · 1/3разбор после ответа
Что означает контролировать FDR (доля ложных открытий среди отвергнутых гипотез) на уровне 0.1 в наборе гипотез?
Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →