Вы тестируете 1 контроль и 12 вариантов креатива; цель — отобрать несколько перспективных кандидатов для следующего подтверждающего теста. Какой подход к множественным сравнениям чаще соответствует этой цели?

AПрименить жёсткий Bonferroni к 12 сравнениям, чтобы среди отобранных кандидатов почти не оказалось ложных находок
BКонтролировать FDR через процедуру Benjamini–Hochberg, чтобы ограничить ожидаемую долю ложных открытий среди кандидатов
CПолностью игнорировать поправку на множественные сравнения, чтобы не терять мощность при отборе перспективных вариантов
DПовысить alpha до 0.2 на этапе отбора, чтобы пройти проверку могло больше вариантов и список кандидатов стал шире
Правильный ответ. Для отбора кандидатов в поисковой фазе часто используют контроль FDR, чтобы балансировать находки и долю ложных открытий.

Разбор

В поисковой задаче обычно важнее не пропустить перспективные варианты, чем полностью исключить одну ложную находку. Контроль FDR даёт больше мощности при большом числе сравнений и задаёт понятный контроль качества короткого списка. Затем отобранные варианты подтверждают отдельным экспериментом или более строгой процедурой типа Bonferroni на финальной фазе.

Проверь себя · 1/3разбор после ответа
Вы настроили контроль FDR (доля ложных открытий) на уровне 0.1 и после процедуры Бенджамини–Хохберга получили 20 значимых сравнений. Как корректнее интерпретировать это число?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»