В тесте у вас контроль A и варианты B, C, D. Вы хотите интерпретировать сравнения каждого варианта с контролем и сравнение B с C. Что верно про выбор набора гипотез для поправки на множественные сравнения?

AВ набор нужно включить все сравнения, которые вы планируете интерпретировать (A против B, A против C, A против D, B против C)
BВ набор достаточно включить только те сравнения, где p-value < 0.05, остальные не влияют на риск ложных срабатываний
CВ набор включают только сравнения с контролем A, а парные сравнения вариантов между собой не учитываются в общем риске
DПоправка не нужна: все сравнения сделаны в одном эксперименте на одних данных и автоматически согласованы между собой по риску
Правильный ответ. Набор гипотез для множественных сравнений должен совпадать с набором утверждений, которые вы планируете делать по результатам.

Разбор

Поправка нужна не «по факту значимости», а по факту количества проверяемых утверждений. Если вы планируете делать выводы и про B против C, это дополнительная проверка, влияющая на общий риск ложных срабатываний. Поэтому набор гипотез должен включать все сравнения, которые вы хотите трактовать как подтверждённые. Иначе часть отчёта будет выглядеть более уверенно, чем она есть на самом деле.

Проверь себя · 1/3разбор после ответа
Вы настроили контроль FDR (доля ложных открытий) на уровне 0.1 и после процедуры Бенджамини–Хохберга получили 20 значимых сравнений. Как корректнее интерпретировать это число?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»