Вы делаете A/B/n с 1 контролем и 12 вариантами креатива, цель — отобрать несколько перспективных кандидатов для следующего подтверждающего теста. Какой подход к множественным проверкам чаще соответствует этой цели?

AЖёсткий Bonferroni, чтобы ни один кандидат не был ложным.
BИгнорировать multiple comparisons, чтобы не терять мощность.
CКонтроль FDR (например, Benjamini–Hochberg), чтобы ограничить ожидаемую долю false positives среди отобранных кандидатов.
DПовысить alpha, чтобы отобрать больше кандидатов.
Правильный ответ. Для отбора кандидатов в поисковой фазе часто используют FDR, чтобы балансировать между находками и долей false positives.

Разбор

В поисковой задаче обычно важнее не пропустить перспективные варианты, чем полностью исключить одну ложную находку. FDR даёт больше мощности при большом числе сравнений и задаёт понятный контроль качества shortlist. Затем shortlist подтверждают отдельным экспериментом или более строгой процедурой.

Проверь себя · 1/3разбор после ответа
В одном эксперименте вы смотрите 25 продуктовых метрик и хотите составить список метрик, которые стоит изучить глубже, понимая что часть сигналов может оказаться ложной. Какую коррекцию чаще выбирают и почему?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»