Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
Когда в эксперименте несколько вариантов или метрик, вероятность ложноположительного результата растёт. Поправка Бонферрони, FDR, Holm — методы контроля ошибки множественного сравнения. На собеседовании просят объяснить, почему нельзя просто запустить тест с пятью вариантами и выбрать лучший по p-value.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1У вас 4 заранее запланированных сравнения, и нужно контролировать суммарную ошибку первого рода (FWER), но хочется быть менее консервативным, чем поправка `Bonferroni`. Что чаще выбирают?
AПоправка `Benjamini–Hochberg`: контролирует долю ложных открытий FDR, а не суммарную ошибку первого рода FWER
BПоправка `Holm`: контролирует тот же FWER, что и `Bonferroni`, но обычно мощнее на тех же данных
CПросто увеличить уровень значимости alpha до 0.1 и тем самым сохранить прежний контроль FWER
DОтказаться от поправки на множественные сравнения, опираясь на заранее известный план гипотез
Ответ: Поправка `Holm` контролирует ту же суммарную ошибку первого рода, что и `Bonferroni`, но обычно мощнее.
Поправка `Holm` сохраняет ту же цель — контроль суммарной ошибки первого рода (FWER), но устроена ступенчато, поэтому обычно мощнее `Bonferroni` и пропускает больше реальных эффектов. Это полезно, когда сравнений немного и нужна строгая защита, но хочется снизить потери мощности. `Benjamini–Hochberg` контролирует другую величину — долю ложных открытий, а не FWER. Просто поднять уровень значимости или отказаться от поправки — значит сознательно увеличить риск ложных выводов.
2Что означает контроль `FWER` (вероятности хотя бы одной ошибки I рода) в задаче с множественными сравнениями?
AОграничить средний наблюдаемый размер эффекта по всем вариантам в семье гипотез, чтобы команда не делала чрезмерных выводов.
BОграничить ожидаемую долю ложных находок среди всех значимых результатов, что соответствует контролю `FDR` и менее консервативно.
CОграничить вероятность сделать хотя бы одну ложноположительную находку в выбранной семье гипотез на заданном уровне значимости.
DОграничить вероятность пропустить реальный эффект хотя бы в одном из вариантов семьи гипотез на заранее выбранном уровне.
Ответ: Контроль `family-wise error` (суммарная ошибка первого рода) означает контроль вероятности хотя бы одного `false positives` в заданной семье проверок.
Это более строгая цель, чем контроль `FDR`, потому что она защищает даже от одной ложной «победы» среди множества сравнений. Такой контроль часто важен, когда цена ошибочного запуска высока. Поэтому методы, нацеленные на контроль `FWER`, обычно более консервативны и требуют меньшего наблюдаемого эффекта для ложных срабатываний.
3В A/B тесте команда мониторит 12 метрик и сообщает только те, где `p-value` < 0.05, без коррекции. Какой риск это создаёт?
AРиск множественных сравнений: среди множества метрик легче случайно найти значимые, если не зафиксировать первичную метрику и не корректировать порог
BРиска тут нет, потому что все 12 метрик измеряются на одних и тех же пользователях и зависят друг от друга, а значит ошибки складываться не могут
CРиск только в том, что поправка `Holm` станет слишком строгой и команда зря отбросит реальные эффекты, поэтому коррекцию вообще не стоит применять
DРиск только в том, что увеличится вероятность пропустить эффект (ошибка II рода), а не в том, чтобы получить ложноположительные результаты по метрикам
Ответ: Много метрик без коррекции увеличивает шанс случайно получить значимый результат и собрать ложноположительные находки из-за множественных сравнений.
Если вы смотрите много метрик и выбираете только «красивые» результаты, вы по сути проводите множественные проверки. Даже без реального эффекта какая-то метрика может случайно стать значимой. Обычно это решают через заранее определённую первичную метрику и/или корректировки на множественность. Для вторичных метрик выводы часто формулируют осторожнее или подтверждают отдельно.
4В одном эксперименте вы смотрите 25 продуктовых метрик и хотите составить список метрик, которые стоит изучить глубже, понимая что часть сигналов может оказаться ложной. Какую поправку чаще выбирают и почему?
AБез поправки: продуктовые метрики коррелированы, и любая коррекция избыточна на этапе отбора кандидатов для дальнейшей проверки
BПоправка `Bonferroni`: контролирует `FWER` и подходит для финальной проверки, но при 25 метриках может скрыть полезные сигналы
CПоправка `Holm`: контролирует `FWER` пошагово и при большом числе метрик в поисковой фазе обычно даёт мало находок
DПоправка `Benjamini–Hochberg`: контролирует `FDR` и сохраняет мощность при большом числе метрик в поисковой фазе
Ответ: При большом числе метрик `Benjamini–Hochberg` часто выбирают для контроля `FDR`, чтобы не потерять слишком много мощности.
Если метрик много, контроль `FWER` может стать слишком строгим и скрыть полезные сигналы. Подход с контролем `FDR` лучше соответствует задаче «найти кандидатов для дальнейшей проверки». Но даже после поправки на `FDR` корректнее считать результаты гипотезами для подтверждения, а не финальными истинами.
5После применения поправки Бонферрони ни одно из 5 сравнений не прошло порог. Какой вывод корректный?
AДанных недостаточно, чтобы утверждать про улучшение при выбранном уровне контроля ошибок; отсутствие значимости не доказывает отсутствие эффекта
BВсе варианты точно равны контролю и эффекта нет, поэтому проект можно безопасно закрывать без дополнительных проверок и итераций
CМожно выбрать вариант с наибольшим лифтом и считать его победителем, раз остальные сравнения оказались статистически незначимыми
DЭто означает, что исходный уровень значимости был завышен и его нужно увеличить, чтобы хоть одно сравнение прошло порог
Ответ: Неуспех после поправки означает недостаток статистических оснований при выбранном уровне контроля ошибок, а не доказательство нулевого эффекта.
Поправка делает критерий строже, поэтому «не пройти порог» может означать, что эффекты есть, но данных недостаточно для уверенного вывода. Корректный вывод — отсутствие статистически надёжного подтверждения на выбранном уровне значимости. Это повод пересмотреть мощность, дизайн или подтвердить эффект отдельным тестом. Утверждать «эффекта нет» по неотвергнутой нулевой гипотезе — типичная ошибка интерпретации.