Что означает контролировать FDR (доля ложных открытий среди отвергнутых гипотез) на уровне 0.1 в наборе гипотез?
Чем больше гипотез проверяешь, тем выше вероятность ложного открытия. Поправка Бонферрони, Benjamini-Hochberg, FWER vs FDR — методы контроля этой проблемы. На собеседовании спрашивают, почему нельзя просто проверить 20 сегментов и доложить о «статистически значимых» различиях без коррекции.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках гипотез?
A`FWER` определяется как ожидаемая доля ложных находок среди значимых результатов, а `FDR` как вероятность хотя бы одной ложной
B`FWER` определяется как средний `p-value` по всем тестам семейства, а `FDR` как медианный `p-value` среди отвергнутых нулевых гипотез
C`FDR` применяется только при одиночном тесте без поправок, а `FWER` применяется при сравнении сегментов внутри одной выборки
D`FWER` определяется как вероятность хотя бы одной ложной находки в семействе тестов, а `FDR` как ожидаемая доля ложных среди отвергнутых
Ответ: `FWER` и `FDR` контролируют разные виды ошибок при множественных проверках: одну находку против доли среди значимых.
`FWER` отвечает на вопрос, какова вероятность сделать хотя бы одну ложную находку в наборе тестов. `FDR` отвечает на другой вопрос: какая доля ложных находок ожидается среди всех результатов, объявленных значимыми. Частая путаница — думать, что `FDR=0.1` означает 10% шанс хотя бы одной ошибки, но это не так: это ожидаемая доля ошибок среди значимых.
2Вы применили поправку `Bonferroni` к 6 метрикам, и ни одна не стала значимой, хотя без поправки было 2 метрики с `p-value` ниже 0.05. Почему это ожидаемо?
AПоправка `Bonferroni` делает порог значимости мягче, поэтому значимых метрик после её применения должно становиться больше, а не меньше
BПоправка `Bonferroni` делает порог строже для контроля общей вероятности ошибки, поэтому значимых может стать меньше, включая истинные эффекты
CПоправка `Bonferroni` меняет знак эффекта на противоположный, поэтому значения `p-value` после её применения перестают иметь смысл
DЭто означает, что в данных точно есть техническая ошибка, потому что поправки на множественные сравнения не могут менять статус значимости
Ответ: Поправка `Bonferroni` снижает риск ложных находок, но часто снижает и мощность теста.
При поправке `Bonferroni` вы используете порог `alpha/m`, поэтому часть эффектов, которые выглядели значимыми без коррекции, перестают проходить новый порог. Это цена за контроль общей вероятности ошибки I рода при множественных проверках. Типичная ошибка — ожидать, что коррекция «подтвердит» результаты, вместо того чтобы понимать компромисс между ложноположительными и ложноотрицательными выводами.
3Какой первый шаг в процедуре `Holm` для контроля семейной ошибки (`FWER`)?
AОтсортировать `p-value` по убыванию и сравнить самый большой с фиксированным порогом `alpha`, как в одиночной проверке
BОтсортировать `p-value` по возрастанию и сравнить минимальный с порогом `alpha/m`, далее идти пошагово с менее строгими порогами
CСравнить каждый `p-value` с одним и тем же порогом `alpha/m`, как в коррекции `Bonferroni`, без дополнительной сортировки
DСложить все `p-value` и сравнить полученную сумму с порогом `alpha`, чтобы оценить общий эффект серии тестов
Ответ: Процедура `Holm` начинается с сортировки `p-value` по возрастанию и пошагового сравнения с меняющимися порогами.
`Holm` — это step-down процедура: сначала проверяется самый маленький `p-value` на самом строгом пороге `alpha/m`, затем пороги становятся менее строгими. Если на каком-то шаге условие не выполняется, дальше уже не отклоняют гипотезы. Типичная ошибка — воспринимать `Holm` как один фиксированный порог для всех тестов, как в коррекции `Bonferroni`.
4Что означает контролировать FDR (доля ложных открытий среди отвергнутых гипотез) на уровне 0.1 в наборе гипотез?
AВероятность хотя бы одной ложной находки среди отклонённых `H0` ограничена 10%
BРовно 10% всех проверок гипотез обязательно окажутся ложными вне зависимости от данных
CКаждая отдельная гипотеза имеет ровно 10% шанс быть ложной находкой при отклонении `H0`
DВ среднем среди отклонённых `H0` ожидаемая доля ложных находок не превышает 10%
Ответ: FDR — это ожидаемая доля ложных находок среди отклонённых `H0`.
Контроль FDR на уровне 0.1 означает, что среди объявленных значимыми результатов ожидаемая доля ложных не превышает 10%. Это утверждение про среднее по экспериментам, а не про конкретный набор отклонённых `H0`. FWER (вероятность хотя бы одной ошибки) — это другая, более строгая величина. Также неверно интерпретировать FDR как гарантию для каждой отдельной гипотезы.
5Вы проверяете эффект фичи на 5 сегментах и 2 платформах и планируете в презентации выбрать самые «успешные» результаты. Что разумнее всего считать семейством тестов для контроля `FWER` (вероятности хотя бы одной ошибки I рода)?
AВсе 10 проверок, потому что вы будете интерпретировать их совместно при выборе результатов в презентацию
BТолько те проверки, где `p-value` уже оказалось меньше 0.05, поскольку остальные ни на что не влияют
CТолько один сегмент, который вы заранее считаете самым важным, даже если по итогу выберете другой
DТолько проверки на одной платформе, потому что разные платформы независимы по смыслу аудитории
Ответ: Семейство тестов определяется тем, какие проверки влияют на одно решение, а не тем, какие уже получились значимыми.
Если вы планируете выбрать и показать лучшие сегменты и платформы, все эти сравнения участвуют в одном процессе отбора и образуют одно семейство. Тогда логично контролировать `FWER` или `FDR` по всему набору, чтобы учесть множественные сравнения. Брать в семейство только уже значимые проверки нельзя: это ровно тот отбор, против которого и защищает поправка. Зафиксировать «один важный сегмент» постфактум тоже нечестно, если по факту смотрели все.