В одном эксперименте вы смотрите 25 продуктовых метрик и хотите составить список метрик, которые стоит изучить глубже, понимая что часть сигналов может оказаться ложной. Какую поправку чаще выбирают и почему?

AБез поправки: продуктовые метрики коррелированы, и любая коррекция избыточна на этапе отбора кандидатов для дальнейшей проверки
BПоправка Bonferroni: контролирует FWER и подходит для финальной проверки, но при 25 метриках может скрыть полезные сигналы
CПоправка Holm: контролирует FWER пошагово и при большом числе метрик в поисковой фазе обычно даёт мало находок
DПоправка Benjamini–Hochberg: контролирует FDR и сохраняет мощность при большом числе метрик в поисковой фазе
Правильный ответ. При большом числе метрик Benjamini–Hochberg часто выбирают для контроля FDR, чтобы не потерять слишком много мощности.

Разбор

Если метрик много, контроль FWER может стать слишком строгим и скрыть полезные сигналы. Подход с контролем FDR лучше соответствует задаче «найти кандидатов для дальнейшей проверки». Но даже после поправки на FDR корректнее считать результаты гипотезами для подтверждения, а не финальными истинами.

Проверь себя · 1/3разбор после ответа
У вас 4 заранее запланированных сравнения, и нужно контролировать суммарную ошибку первого рода (FWER), но хочется быть менее консервативным, чем поправка Bonferroni. Что чаще выбирают?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»