Вы заранее определили одну основную метрику успеха, но после эксперимента дополнительно посмотрели ещё 10 метрик. Как корректнее всего оформить принятие решения?
AПринимать решение по заранее заданной основной метрике, а остальные явно пометить как вторичные и при необходимости применять поправки на множественность
BВыбрать метрику с минимальным
p-value из всех 11 и назвать её основной задним числомCСчитать эксперимент успешным, если хотя бы одна из 11 метрик значима на 0.05 без коррекции
DИгнорировать основную метрику и принимать решение по вторичным, потому что их больше
Правильный ответ. Заранее заданная основная метрика снижает риск ошибок из-за
multiple comparisons.Разбор
Если вы заранее фиксируете основную метрику, вы ограничиваете пространство решений и уменьшаете шанс случайной 'победы'. Вторичные метрики можно анализировать, но важно явно обозначать их статус и правила интерпретации, включая возможные поправки (Bonferroni, Holm или FDR). Типичная ошибка — делать выбор метрики после просмотра результатов и выдавать это за заранее запланированное решение.
Проверь себя · 1/3разбор после ответа
У вас два сценария: (1) критичное решение по безопасности, (2) поиск идей среди 50 метрик для следующего спринта. Какое сочетание контроля ошибок чаще всего разумно?
Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках?
- Вы делаете 10 проверок и хотите контролировать `FWER` на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но `Bonferroni` кажется слишком консервативным. Какое утверждение про `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →