В A/B/n у вас контроль A и варианты B и C, и вы хотите выбрать любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для коррекции multiple comparisons?
AТолько сравнение варианта, который оказался лучшим по лифту, с контролем.
BСравнения B против A и C против A, потому что оба могут привести к решению о запуске.
CТолько сравнение B против C, потому что варианты конкурируют друг с другом.
DКоррекция не нужна, так как метрика одна.
Правильный ответ. Семья гипотез определяется решениями, которые вы планируете принимать, и в
A/B/n обычно включает все плановые сравнения с контролем.Разбор
Если вы готовы запустить любой вариант, который обгонит контроль, то фактически у вас несколько шансов «победить» контроль. Поэтому сравнения B против A и C против A должны учитываться совместно. Иначе вы будете недооценивать риск false positives на уровне эксперимента.
Проверь себя · 1/3разбор после ответа
Какое утверждение обычно верно для
Benjamini–Hochberg по сравнению с Bonferroni при большом числе проверок?Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска `false positives`, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует `alpha` 0.05 без коррекции. Что происходит с вероятностью получить хотя бы один `false positives` среди всех сравнений?
- Что означает контроль `family-wise error` (суммарная ошибка первого рода) в задаче `multiple comparisons`?
- Какое утверждение верно про коррекцию `Bonferroni` при `multiple comparisons`?
- Чем процедура `Holm` чаще всего отличается от `Bonferroni`, если цель та же — контроль `family-wise error` (суммарная ошибка первого рода)?
- Все вопросы по «Множественное тестирование» →