Система мониторинга каждый день проверяет 50 метрик и отправляет алерт при p-value < 0.05. Что поможет снизить число ложных алертов из-за множественных проверок, сохранив чувствительность?
AПоднять порог до
alpha = 0.2, чтобы алерты были чаще и быстрееBКонтролировать
FDR для дневного набора проверок, например через Benjamini–Hochberg, и явно фиксировать семейство тестовCОставить всё как есть: если
p-value < 0.05, алерт всегда корректенDОтключить все метрики кроме одной, чтобы не было
multiple comparisonsПравильный ответ. При большом числе ежедневных проверок полезно контролировать множественность, например через
FDR.Разбор
Когда вы проверяете десятки метрик, шанс случайного p-value < 0.05 в любой из них заметно возрастает, и алерты становятся шумными. Контроль FDR помогает держать долю ложных срабатываний среди поднятых алертов на приемлемом уровне. Типичная ошибка — интерпретировать каждое срабатывание как отдельное событие, забывая, что вы запускаете сразу много тестов ежедневно.
Проверь себя · 1/3разбор после ответа
Вы проверяете эффект фичи на 5 сегментах и 2 платформах и планируете в презентации выбрать самые 'успешные' результаты. Что разумнее всего считать семейством тестов для контроля
FWER?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках?
- Вы делаете 10 проверок и хотите контролировать `FWER` на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но `Bonferroni` кажется слишком консервативным. Какое утверждение про `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →