Множественное тестирование: вопросы для собеседования (часть 2)
Когда в эксперименте несколько вариантов или метрик, вероятность ложноположительного результата растёт. Поправка Бонферрони, FDR, Holm — методы контроля ошибки множественного сравнения. На собеседовании просят объяснить, почему нельзя просто запустить тест с пятью вариантами и выбрать лучший по p-value.
Вопросы 6–10 из 20
6Что описывает контроль `FDR` в процедурах вроде `Benjamini–Hochberg`?
AВероятность хотя бы одного ложноположительного результата среди всех проверок гипотез в семействе.
BВероятность того, что конкретный найденный значимый эффект на самом деле является ложным.
CУсреднённый уровень значимости по всем проведённым проверкам гипотез в множественном тестировании.
DОжидаемую долю ложноположительных результатов среди всех гипотез, объявленных значимыми.
Ответ: `FDR` контролирует ожидаемую долю ложных находок среди всех результатов, объявленных значимыми.
Это другой критерий, чем `FWER` (вероятность хотя бы одной ошибки I рода): он допускает, что некоторые находки могут оказаться ложными, но ограничивает их долю в среднем. Такой подход часто применяют в поисковом анализе, когда проверок много. При этом важно помнить, что `FDR` не гарантирует безошибочность каждой отдельной находки.
Подробный разбор → 7Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог `alpha = 0.05` без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
AОстанется на уровне 0.05, потому что порог по `alpha` фиксирован для каждого отдельного теста
BУменьшится, потому что при большом числе вариантов истинный эффект найти сложнее
CУвеличится из-за множественных сравнений: каждая лишняя проверка добавляет шанс случайной находки
DИзменит только величину наблюдаемого эффекта, но не вероятность ложного срабатывания
Ответ: Чем больше проверок при одном `alpha`, тем выше шанс случайно получить хотя бы одно значимое отличие.
Каждый отдельный тест на уровне `alpha = 0.05` допускает ошибку первого рода с вероятностью 5%. Когда тестов много, у каждого появляется шанс случайно превысить порог, и общий риск получить хотя бы одно ложное срабатывание растёт. Для 8 независимых сравнений он составляет около 1 − 0.95^8 ≈ 0.34, то есть в семь раз выше номинальных 5%. Поэтому при множественных сравнениях используют корректировки вроде Бонферрони или контроль FDR.
Подробный разбор → 8Какое утверждение верно про коррекцию `Bonferroni` при множественных сравнениях?
AОна контролирует долю ложных открытий (`FDR`), а не вероятность хотя бы одной ошибки I рода в семье проверок
BОна работает только при независимых тестах, а при коррелированных проверках полностью теряет валидность и приводит к ошибкам
CОна контролирует семейную ошибку: каждый `p-value` сравнивают с `alpha`, делённой на число проверок в семье
DОна повышает порог `alpha` для каждого теста, чтобы увеличить мощность и сократить требуемый размер выборки
Ответ: Коррекция `Bonferroni` контролирует семейную ошибку: каждый `p-value` сравнивают с `alpha`, делённой на число проверок.
Идея проста: если проверок несколько, то для каждой проверки ставят более строгий порог, чтобы общий риск ошибки I рода был ограничен. Это делает метод надёжным, но часто консервативным. Поэтому при большом числе проверок `Bonferroni` сильно снижает мощность, и иногда выгоднее использовать пошаговые процедуры (например, `Holm`) или контроль `FDR`.
Подробный разбор → 9Вы запускаете `A/B/n`-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с `A/B` в части риска ложноположительных результатов, если проверять каждое сравнение на `alpha` 0.05 без коррекции?
AНичего не меняется: можно тестировать каждую пару на том же `alpha` и трактовать результаты ровно так же, как в обычном `A/B`
BВозникает проблема множественных сравнений: общий шанс получить хотя бы один ложноположительный результат растёт, поэтому нужен план сравнений и коррекция
CРиск ложноположительных результатов снижается, потому что трафик делится на большее число вариантов и в каждом меньше пользователей
DСравнивать варианты нужно только между собой попарно, а контрольную группу полностью исключить из анализа итоговых сравнений
Ответ: В `A/B/n` число проверок обычно больше, поэтому без коррекции растёт вероятность ложноположительных результатов из-за множественных сравнений.
В `A/B` часто проверяют одну основную гипотезу, а в `A/B/n` появляется несколько сравнений, например каждый вариант против контроля. Если каждое сравнение делать на одном и том же `alpha`, общий шанс случайно увидеть значимость хотя бы где-то становится выше. Поэтому важно заранее определить, какие сравнения входят в одну семью, и применять подходящую коррекцию.
Подробный разбор → 10Чем процедура Холма чаще всего отличается от процедуры Бонферрони, если цель та же — контроль общей вероятности ошибки первого рода в семье проверок?
AМетод Холма использует пошаговый подход и обычно менее консервативен при том же контроле общей ошибки первого рода
BМетод Холма всегда более консервативен, чем метод Бонферрони, и поэтому в практике его выбирают реже
CМетод Холма контролирует только долю ложных открытий, а не общую вероятность ошибки первого рода
DМетод Холма применим только к схеме A/B/n с одной метрикой, но не к нескольким метрикам сразу
Ответ: Метод Холма — пошаговая альтернатива Бонферрони, обычно даёт больше мощности при том же контроле общей ошибки первого рода.
В практике метод Холма часто предпочитают, когда нужна строгая защита, но хочется чуть меньше потерь мощности, чем у метода Бонферрони. Процедура упорядочивает проверки по `p-value` и последовательно применяет пороги. Цель остаётся той же: ограничить вероятность хотя бы одного ложноположительного вывода в семье проверок.
Подробный разбор →