Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
AОстанется на уровне 0.05, потому что порог по
alpha фиксирован для каждого отдельного тестаBУменьшится, потому что при большом числе вариантов истинный эффект найти сложнее
CУвеличится из-за множественных сравнений: каждая лишняя проверка добавляет шанс случайной находки
DИзменит только величину наблюдаемого эффекта, но не вероятность ложного срабатывания
Правильный ответ. Чем больше проверок при одном
alpha, тем выше шанс случайно получить хотя бы одно значимое отличие.Разбор
Каждый отдельный тест на уровне alpha = 0.05 допускает ошибку первого рода с вероятностью 5%. Когда тестов много, у каждого появляется шанс случайно превысить порог, и общий риск получить хотя бы одно ложное срабатывание растёт. Для 8 независимых сравнений он составляет около 1 − 0.95^8 ≈ 0.34, то есть в семь раз выше номинальных 5%. Поэтому при множественных сравнениях используют корректировки вроде Бонферрони или контроль FDR.
Проверь себя · 1/3разбор после ответа
Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог
alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска ложноположительных результатов, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В эксперименте `A/B/n` у вас контроль A и варианты B и C, и вы готовы запустить любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для поправки на множественные сравнения?
- Что означает контроль `FWER` (вероятности хотя бы одной ошибки I рода) в задаче с множественными сравнениями?
- Какое утверждение верно про коррекцию `Bonferroni` при множественных сравнениях?
- Чем процедура Холма чаще всего отличается от процедуры Бонферрони, если цель та же — контроль общей вероятности ошибки первого рода в семье проверок?
- Все вопросы по «Множественное тестирование» →