После применения Bonferroni ни одно из 5 сравнений не прошло порог. Какой вывод корректный?
AВсе варианты точно равны контролю, эффекта нет.
BДанных недостаточно, чтобы утверждать про улучшение при выбранном контроле ошибок; отсутствие значимости не доказывает отсутствие эффекта.
CМожно выбрать вариант с наибольшим лифтом и считать его победителем, раз остальные незначимы.
DЭто означает, что исходный
alpha был завышен и его нужно увеличить.Правильный ответ. Неуспех после коррекции означает недостаток статистических оснований при выбранном контроле ошибок, а не доказательство нулевого эффекта.
Разбор
Коррекция делает критерий строже, поэтому «не пройти порог» может означать, что эффекты есть, но данных недостаточно для уверенного вывода. Корректный вывод — отсутствие статистически надёжного подтверждения на выбранном уровне контроля ошибок. Это повод пересмотреть мощность, дизайн или подтвердить эффект отдельным тестом.
Проверь себя · 1/3разбор после ответа
Команда сравнивает 8 вариантов с контролем и для каждого теста использует
alpha 0.05 без коррекции. Что происходит с вероятностью получить хотя бы один false positives среди всех сравнений?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска `false positives`, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В `A/B/n` у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции `multiple comparisons`?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует `alpha` 0.05 без коррекции. Что происходит с вероятностью получить хотя бы один `false positives` среди всех сравнений?
- Что означает контроль `family-wise error` (суммарная ошибка первого рода) в задаче `multiple comparisons`?
- Какое утверждение верно про коррекцию `Bonferroni` при `multiple comparisons`?
- Все вопросы по «Множественное тестирование» →