В A/B/n вы сравниваете контроль и 3 варианта по одной первичной метрике, а цена ошибочного запуска очень высока. Какой выбор коррекции наиболее логичен?
AНе делать коррекцию, потому что метрика одна.
BИспользовать
FDR, чтобы найти больше победителей.CИспользовать
Bonferroni или Holm, потому что важен контроль family-wise error и минимизация false positives.DПовысить
alpha до 0.1, чтобы не упустить эффект.Правильный ответ. Если критично избежать даже одного
false positives, выбирают методы контроля family-wise error вроде Bonferroni или Holm.Разбор
В подтверждающих запусках чаще всего важнее надёжность, чем количество обнаруженных эффектов. Bonferroni и Holm специально нацелены на ограничение вероятности хотя бы одной ложной находки в семье сравнений. Это может уменьшить шанс «победы» для настоящего эффекта, но снижает риск дорогостоящей ошибки.
Проверь себя · 1/3разбор после ответа
У вас 4 заранее запланированных сравнения и нужно контролировать
family-wise error (суммарная ошибка первого рода), но хочется быть менее консервативным, чем Bonferroni. Что чаще выбирают?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска `false positives`, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В `A/B/n` у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции `multiple comparisons`?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует `alpha` 0.05 без коррекции. Что происходит с вероятностью получить хотя бы один `false positives` среди всех сравнений?
- Что означает контроль `family-wise error` (суммарная ошибка первого рода) в задаче `multiple comparisons`?
- Какое утверждение верно про коррекцию `Bonferroni` при `multiple comparisons`?
- Все вопросы по «Множественное тестирование» →