Множественные сравнения: вопросы для собеседования (часть 3)
Чем больше гипотез проверяешь, тем выше вероятность ложного открытия. Поправка Бонферрони, Benjamini-Hochberg, FWER vs FDR — методы контроля этой проблемы. На собеседовании спрашивают, почему нельзя просто проверить 20 сегментов и доложить о «статистически значимых» различиях без коррекции.
Вопросы 11–15 из 20
11Вы протестировали 12 сегментов и применили `Holm` для контроля семейной ошибки I рода (FWER). Какой вариант отчёта наиболее корректен?
AУказать только сегменты с `p-value < 0.05` и опустить остальные проверки `Holm` для упрощения выводов бизнес-аудитории отчёта
BУказать применение `Holm` при `alpha = 0.05` и трактовать скорректированный `p-value` как вероятность нулевой гипотезы
CУказать 12 проверок и применение `Holm` при `alpha = 0.05`: значимыми считать результаты со скорректированным `p-value < 0.05`
DУказать факт коррекции через `Holm`, но число проверок и точный `alpha` опустить ради компактности отчёта по сегментам
Ответ: Корректный отчёт явно фиксирует семейство тестов, метод поправки и правило принятия решений.
Для прозрачного отчёта по множественным сравнениям нужно указать общее число проверок (тут 12), применённую процедуру (`Holm`), уровень `alpha` и приводить скорректированные `p-value`. Опускать число проверок нельзя: тогда читатель не может оценить силу поправки. Опускать сегменты с `p-value > 0.05` — скрытое cherry-picking. Скорректированный `p-value` не равен вероятности `H0` — это сохранение того же ошибочного толкования, что и для нескорректированного `p-value`.
Подробный разбор → 12Вы тестируете 200 гипотез по разным фичам и хотите контролировать `FDR` (долю ложных открытий среди отвергнутых гипотез), не теряя мощности так сильно, как при `Bonferroni`. Какой метод наиболее уместен?
AПоправка `Bonferroni`: контролирует вероятность хотя бы одной ошибки I рода и обычно слишком строга при 200 тестах
BПоправка `Holm`: контролирует вероятность ошибки I рода в семействе, но не контролирует долю ложных открытий
CНе делать поправку: одиночный `p-value` сам по себе уже учитывает множественность тестирования по 200 фичам
DПроцедура `Benjamini–Hochberg`: контролирует долю ложных открытий и сохраняет больше мощности при многих тестах
Ответ: Для контроля доли ложных открытий в больших наборах тестов часто используют процедуру `Benjamini–Hochberg`.
Поправки `Bonferroni` и `Holm` контролируют вероятность хотя бы одной ошибки I рода и поэтому обычно слишком консервативны при сотнях проверок. Если задача похожа на скрининг и важно держать долю ложных находок среди отвергнутых гипотез в пределах, логичнее контролировать `FDR`, и для этого подходит процедура `Benjamini–Hochberg`. Утверждение, что `p-value` сам учитывает множественность, неверно: каждый отдельный `p-value` рассчитан для одной проверки.
Подробный разбор → 13Вы делаете 10 проверок и хотите контролировать FWER (вероятность хотя бы одной ошибки I рода) на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
A0.05 как исходный порог: число проверок игнорируется и каждый тест сравнивается с тем же `alpha` напрямую без коррекции
B0.01 как результат деления `alpha` на 5 проверок вместо реального количества тестов в семействе, равного десяти
C0.005 как результат деления `alpha = 0.05` на 10 проверок в семействе для контроля общей вероятности ошибки I рода
D0.5 как результат умножения `alpha` на 10 вместо деления, что делает порог более мягким и завышает число находок
Ответ: Поправка `Bonferroni` делит исходный `alpha` на число проверок и для 10 тестов даёт порог 0.005.
Логика поправки `Bonferroni` — сделать каждый отдельный тест более строгим, чтобы вероятность хотя бы одной ложной находки в семействе тестов оставалась ограниченной. При 10 проверках порог становится 0.05/10 = 0.005. Типичная ошибка — продолжать сравнивать каждую проверку с исходным `alpha=0.05` и считать, что FWER всё ещё равен 0.05, или ошибочно делить на 5 либо умножать на 10.
Подробный разбор → 14Вы хотите контролировать `FWER`, но коррекция `Bonferroni` кажется слишком консервативной. Какое утверждение про процедуру `Holm` наиболее верное?
A`Holm` контролирует `FDR`, а не `FWER`, и пригоден скорее для скрининга, чем для жёсткого контроля семейной ошибки
B`Holm` применим только к оценкам эффекта и доверительным интервалам, а на `p-value` напрямую процедура не работает
C`Holm`: пошаговая процедура с контролем `FWER`, обычно менее консервативная по сравнению с `Bonferroni`
D`Holm` требует строгой независимости тестов, и при коррелированных проверках процедура теряет валидность
Ответ: `Holm` — это более мощная альтернатива `Bonferroni` для контроля `FWER`, основанная на пошаговой проверке `p-value`.
`Holm` сортирует `p-value` и последовательно сравнивает их с порогами, которые становятся менее строгими по мере продвижения. За счёт этого процедура часто отклоняет больше гипотез при том же контроле `FWER`, чем `Bonferroni`. Типичная ошибка — путать `Holm` с `Benjamini–Hochberg`, который контролирует `FDR`, а не `FWER`.
Подробный разбор → 15В A/B-тесте вы измеряете 15 метрик и объявляете победу, если хоть одна метрика имеет `p-value < 0.05`. Какой риск вы в первую очередь раздуваете?
A`FWER`: вероятность хотя бы одной ложной находки среди 15 проверенных метрик при истинной `H0` для каждой
B`FDR`: ожидаемая доля ложных находок среди объявленных значимыми в этой серии проверок без поправок
CРиск ложной находки снижается за счёт большого числа метрик: среднее по серии стабилизируется на уровне 0.05 само
D`Benjamini–Hochberg` уже применяется автоматически: при большом числе метрик поправка не нужна и риск контролируется
Ответ: Правило 'победа, если хоть где-то значимо' напрямую раздувает `FWER`.
Когда вы объявляете победу при условии «хотя бы одна из 15 метрик имеет `p-value < 0.05`», вы прямо контролируете противоположное событию ошибки `FWER` (Family-Wise Error Rate) — вероятность хотя бы одной ложной находки в семействе. При независимых метриках и истинной `H0` вероятность хоть где-то «зацепиться» оценивается как `1 - 0.95^15 ≈ 0.54`. `FDR` (`False Discovery Rate`) — другая величина, ожидаемая доля ошибок среди отвергнутых, и контролируется поправкой `Benjamini–Hochberg`, но она не применяется сама по себе. Риск ложной находки от увеличения числа метрик растёт, а не уменьшается.
Подробный разбор →