В одном эксперименте вы смотрите 25 продуктовых метрик и хотите составить список метрик, которые стоит изучить глубже, понимая что часть сигналов может оказаться ложной. Какую коррекцию чаще выбирают и почему?

ABonferroni, потому что он максимизирует число находок.
BHolm, потому что он контролирует только FDR.
CBenjamini–Hochberg, потому что он контролирует FDR и обычно даёт больше мощности при большом числе метрик.
DНе делать коррекцию, потому что метрики коррелированы.
Правильный ответ. При большом числе метрик Benjamini–Hochberg часто выбирают для контроля FDR, чтобы не потерять слишком много мощности.

Разбор

Если метрик много, family-wise error-контроль может стать слишком строгим и скрыть полезные сигналы. FDR-подход лучше соответствует задаче «найти кандидатов для дальнейшей проверки». Но даже после FDR корректнее считать результаты гипотезами для подтверждения, а не финальными истинами.

Проверь себя · 1/3разбор после ответа
В A/B/n у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции multiple comparisons?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»