В A/B-тесте вы измеряете 15 метрик и объявляете победу, если хоть одна метрика имеет p-value < 0.05. Какой риск вы в первую очередь раздуваете?
A
FWER: вероятность хотя бы одной ложной находки среди 15 метрикB
FDR: вероятность хотя бы одной ложной находки среди 15 метрикCРиск ложной находки уменьшается, потому что метрик больше
D
Benjamini–Hochberg автоматически применяется, раз метрик многоПравильный ответ. Правило 'победа, если хоть где-то значимо' напрямую раздувает
FWER.Разбор
Когда вы разрешаете любому из 15 тестов стать основанием для решения, вы фактически увеличиваете шанс случайной 'победы'. Это и есть рост FWER, то есть вероятности хотя бы одной ложной находки в семействе проверок. Типичная ошибка — думать, что раз каждый тест на 0.05, то общий риск тоже 0.05.
Проверь себя · 1/3разбор после ответа
Вы применяете процедуру
Benjamini–Hochberg для контроля FDR на уровне 0.05 к 5 проверкам с отсортированными p-value: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках?
- Вы делаете 10 проверок и хотите контролировать `FWER` на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но `Bonferroni` кажется слишком консервативным. Какое утверждение про `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →