Вы запустили A/B/C-тест: контрольная группа и два варианта. Вы делаете два сравнения (вариант 1 vs контроль, вариант 2 vs контроль) и хотите ограничить риск ложной победы. Что корректнее всего сделать?
AПроверить оба сравнения на
alpha=0.05 без коррекции, потому что вариантов всего два и риск ложной победы при этом не растётBРассматривать ситуацию как множественные сравнения и применить поправку (
Holm или Bonferroni) либо заранее выбрать приоритетный вариантCСчитать значимым только то сравнение, где
p-value оказался меньше, а второе игнорировать, чтобы упростить интерпретацию итогов тестаDПовысить уровень значимости
alpha, чтобы быстрее найти победителя среди вариантов и не пропустить эффект из-за слишком строгого порогаПравильный ответ. Два сравнения против контроля — это множественные проверки, и без поправки растёт шанс ложной победы.
Разбор
Если объявлять победу, когда значим хотя бы один из двух вариантов, общий риск ошибки растёт по сравнению с одним тестом. Поправка (Holm или Bonferroni) делает пороги строже и помогает контролировать FWER (вероятность хотя бы одной ошибки I рода) для семейства сравнений. Альтернатива — заранее выбрать приоритетный вариант и тестировать только его, а второй оставить исследовательским. Игнорировать второй вариант, повышать alpha или считать «всего два сравнения безопасными» — все эти ходы не контролируют семейную ошибку.
Проверь себя · 1/3разбор после ответа
Вы применяете процедуру
Benjamini–Hochberg для контроля FDR на уровне 0.05 к 5 проверкам с отсортированными p-value: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
- Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →