Команда сравнивает 8 вариантов с контролем и для каждого теста использует alpha 0.05 без коррекции. Что происходит с вероятностью получить хотя бы один false positives среди всех сравнений?
AОна остаётся равной 0.05, потому что
alpha фиксирован.BОна уменьшается, потому что вариантов больше.
CОна увеличивается из-за
multiple comparisons.DОна влияет только на размер эффекта, но не на вероятность ошибок.
Правильный ответ. Чем больше проверок на одном
alpha, тем выше шанс случайно получить хотя бы одну значимость, то есть false positives.Разбор
Каждый отдельный тест на alpha 0.05 допускает ошибку первого рода с некоторой вероятностью. Когда тестов много, появляется больше «попыток» случайно превысить порог. Поэтому общий риск ложной находки растёт и требует контроля через корректировки.
Проверь себя · 1/3разбор после ответа
В
A/B/n у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции multiple comparisons?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска `false positives`, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В `A/B/n` у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции `multiple comparisons`?
- Что означает контроль `family-wise error` (суммарная ошибка первого рода) в задаче `multiple comparisons`?
- Какое утверждение верно про коррекцию `Bonferroni` при `multiple comparisons`?
- Чем процедура `Holm` чаще всего отличается от `Bonferroni`, если цель та же — контроль `family-wise error` (суммарная ошибка первого рода)?
- Все вопросы по «Множественное тестирование» →