В A/B/n у вас контроль A и варианты B, C, D. В отчёте вы хотите интерпретировать сравнения каждого варианта с контролем и сравнение B с C. Что верно про выбор семьи для коррекции multiple comparisons?
AВ семью нужно включить все сравнения, которые вы собираетесь интерпретировать (A против B, A против C, A против D и B против C), иначе часть выводов будет некорректна по уровню ошибок.
BВ семью достаточно включить только те сравнения, где получилось p-value < 0.05.
CСемья всегда включает только сравнения с контролем, остальные сравнения не влияют на ошибки.
DКоррекция не нужна, потому что все сравнения сделаны в одном эксперименте.
Правильный ответ. Семья гипотез для
multiple comparisons должна соответствовать набору утверждений, которые вы собираетесь делать по результатам.Разбор
Коррекция нужна не «по факту значимости», а по факту количества проверяемых утверждений. Если вы планируете сделать выводы и про B против C, то это дополнительная проверка, влияющая на общий риск false positives. Поэтому семейство гипотез должно включать все сравнения, которые вы хотите трактовать как подтверждённые. Иначе часть отчёта будет выглядеть более уверенно, чем она есть на самом деле.
Проверь себя · 1/3разбор после ответа
Что описывает контроль
FDR в процедурах вроде Benjamini–Hochberg?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска `false positives`, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В `A/B/n` у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции `multiple comparisons`?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует `alpha` 0.05 без коррекции. Что происходит с вероятностью получить хотя бы один `false positives` среди всех сравнений?
- Что означает контроль `family-wise error` (суммарная ошибка первого рода) в задаче `multiple comparisons`?
- Какое утверждение верно про коррекцию `Bonferroni` при `multiple comparisons`?
- Все вопросы по «Множественное тестирование» →