Вы проверяете эффект фичи на 5 сегментах и 2 платформах и планируете в презентации выбрать самые «успешные» результаты. Что разумнее всего считать семейством тестов для контроля FWER (вероятности хотя бы одной ошибки I рода)?
AВсе 10 проверок, потому что вы будете интерпретировать их совместно при выборе результатов в презентацию
BТолько те проверки, где
p-value уже оказалось меньше 0.05, поскольку остальные ни на что не влияютCТолько один сегмент, который вы заранее считаете самым важным, даже если по итогу выберете другой
DТолько проверки на одной платформе, потому что разные платформы независимы по смыслу аудитории
Правильный ответ. Семейство тестов определяется тем, какие проверки влияют на одно решение, а не тем, какие уже получились значимыми.
Разбор
Если вы планируете выбрать и показать лучшие сегменты и платформы, все эти сравнения участвуют в одном процессе отбора и образуют одно семейство. Тогда логично контролировать FWER или FDR по всему набору, чтобы учесть множественные сравнения. Брать в семейство только уже значимые проверки нельзя: это ровно тот отбор, против которого и защищает поправка. Зафиксировать «один важный сегмент» постфактум тоже нечестно, если по факту смотрели все.
Проверь себя · 1/3разбор после ответа
Вы применяете процедуру
Benjamini–Hochberg для контроля FDR на уровне 0.05 к 5 проверкам с отсортированными p-value: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →