В A/B тесте команда мониторит 12 метрик и сообщает только те, где p-value < 0.05, без коррекции. Какой риск это создаёт?
AРиск множественных сравнений: среди множества метрик легче случайно найти значимые, если не зафиксировать первичную метрику и не корректировать порог
BРиска тут нет, потому что все 12 метрик измеряются на одних и тех же пользователях и зависят друг от друга, а значит ошибки складываться не могут
CРиск только в том, что поправка
Holm станет слишком строгой и команда зря отбросит реальные эффекты, поэтому коррекцию вообще не стоит применятьDРиск только в том, что увеличится вероятность пропустить эффект (ошибка II рода), а не в том, чтобы получить ложноположительные результаты по метрикам
Правильный ответ. Много метрик без коррекции увеличивает шанс случайно получить значимый результат и собрать ложноположительные находки из-за множественных сравнений.
Разбор
Если вы смотрите много метрик и выбираете только «красивые» результаты, вы по сути проводите множественные проверки. Даже без реального эффекта какая-то метрика может случайно стать значимой. Обычно это решают через заранее определённую первичную метрику и/или корректировки на множественность. Для вторичных метрик выводы часто формулируют осторожнее или подтверждают отдельно.
Проверь себя · 1/3разбор после ответа
Вы настроили контроль FDR (доля ложных открытий) на уровне 0.1 и после процедуры Бенджамини–Хохберга получили 20 значимых сравнений. Как корректнее интерпретировать это число?
Ещё вопросы по теме «Множественное тестирование»
- Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска ложноположительных результатов, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
- В эксперименте `A/B/n` у вас контроль A и варианты B и C, и вы готовы запустить любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для поправки на множественные сравнения?
- Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог `alpha = 0.05` без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
- Что означает контроль `FWER` (вероятности хотя бы одной ошибки I рода) в задаче с множественными сравнениями?
- Какое утверждение верно про коррекцию `Bonferroni` при множественных сравнениях?
- Все вопросы по «Множественное тестирование» →