После применения поправки Бонферрони ни одно из 5 сравнений не прошло порог. Какой вывод корректный?
AДанных недостаточно, чтобы утверждать про улучшение при выбранном уровне контроля ошибок; отсутствие значимости не доказывает отсутствие эффекта
BВсе варианты точно равны контролю и эффекта нет, поэтому проект можно безопасно закрывать без дополнительных проверок и итераций
CМожно выбрать вариант с наибольшим лифтом и считать его победителем, раз остальные сравнения оказались статистически незначимыми
DЭто означает, что исходный уровень значимости был завышен и его нужно увеличить, чтобы хоть одно сравнение прошло порог
Правильный ответ. Неуспех после поправки означает недостаток статистических оснований при выбранном уровне контроля ошибок, а не доказательство нулевого эффекта.
Разбор
Поправка делает критерий строже, поэтому «не пройти порог» может означать, что эффекты есть, но данных недостаточно для уверенного вывода. Корректный вывод — отсутствие статистически надёжного подтверждения на выбранном уровне значимости. Это повод пересмотреть мощность, дизайн или подтвердить эффект отдельным тестом. Утверждать «эффекта нет» по неотвергнутой нулевой гипотезе — типичная ошибка интерпретации.
Проверь себя · 1/3разбор после ответа
Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог
alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска ложноположительных результатов, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В эксперименте `A/B/n` у вас контроль A и варианты B и C, и вы готовы запустить любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для поправки на множественные сравнения?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог `alpha = 0.05` без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
- Что означает контроль `FWER` (вероятности хотя бы одной ошибки I рода) в задаче с множественными сравнениями?
- Какое утверждение верно про коррекцию `Bonferroni` при множественных сравнениях?
- Все вопросы по «Множественное тестирование» →