Множественные сравнения: вопросы для собеседования (часть 4)
Чем больше гипотез проверяешь, тем выше вероятность ложного открытия. Поправка Бонферрони, Benjamini-Hochberg, FWER vs FDR — методы контроля этой проблемы. На собеседовании спрашивают, почему нельзя просто проверить 20 сегментов и доложить о «статистически значимых» различиях без коррекции.
Вопросы 16–20 из 20
16Вы заранее определили одну основную метрику успеха, но после эксперимента дополнительно посмотрели ещё 10 вторичных метрик. Как корректнее всего оформить принятие решения?
AПринимать решение по заранее заданной основной метрике, остальные пометить как вторичные и при необходимости применять поправки
BВыбирать метрику с минимальным `p-value` из всех 11 и задним числом объявлять её основной метрикой эксперимента
CСчитать эксперимент успешным, если хотя бы одна из 11 метрик значима на уровне 0.05 без поправок на множественные сравнения
DПринимать решение по среднему `p-value` всех 11 метрик: если оно меньше 0.05, считать общий эффект достаточно подтверждённым
Ответ: Заранее заданная основная метрика снижает риск ошибок из-за множественных сравнений.
Корректная практика — заранее зафиксировать одну (или несколько) основную метрику и принимать решение по ней; остальные метрики идут как вторичные и используются для понимания механизма эффекта, причём по ним применяют поправку на множественность. Выбор основной метрики постфактум по минимальному `p-value` — типичный `cherry-picking`. Стратегия «хоть одна значима без поправок» прямо раздувает `FWER`. Усреднение `p-value` не имеет статистического обоснования — это не валидная процедура комбинирования тестов.
Подробный разбор → 17После эксперимента вы посмотрели 20 сегментов и выбрали один с `p-value=0.03`, чтобы сказать, что фича работает в этом сегменте. Что корректнее сделать?
AПризнать проблему множественных сравнений: применить поправку или обозначить результат как исследовательский и подтвердить отдельным тестом
BЗаявить эффект для выбранного сегмента: значение `p-value < 0.05` в одном из сегментов уже считается достаточным основанием
CСчитать любой сегмент автоматически статистически значимым, если общий эффект по всему эксперименту оказался незначимым в тесте
DПеренести оценку на следующую итерацию релиза без изменения дизайна теста: эффект подтвердится сам в стандартном A/B-цикле
Ответ: Выбор «лучшего» сегмента после просмотра многих — классический риск ложных открытий из-за множественных сравнений.
Просмотр 20 сегментов и выбор одного с `p-value < 0.05` — это классическая множественная проверка с раздутой ошибкой I рода: даже при `H0` истинной для всех сегментов вероятность увидеть хотя бы один значимый результат на уровне 0.05 оценивается как `1 - 0.95^20 ≈ 0.64`. Корректная практика — применить поправку (`Holm`, `BH`) или пометить сегментный результат как исследовательский и подтвердить отдельным A/B-тестом на этом сегменте. Заявлять эффект без поправки или, наоборот, отменять анализ ради ожидания следующей итерации — крайности, не решающие задачу.
Подробный разбор → 18В наборе из 8 проверок одна метрика имеет сырой `p-value`=0.03, но после поправки `Holm` её скорректированный `p-value`=0.12. Как корректнее сформулировать вывод?
AСчитать результат значимым, потому что сырой `p-value`=0.03 меньше 0.05, а поправка `Holm` лишь ужесточает требования и здесь её можно игнорировать
BНе заявлять значимость при контроле `FWER` поправкой `Holm`: можно упомянуть как сигнал, но честно указать, что после поправки `p-value`=0.12 — незначимо
CСчитать результат значимым, потому что метод `Holm` всегда повышает мощность по сравнению с `Bonferroni` и сохраняет уровень `alpha`=0.05 для каждой проверки
DЗаменить метод на `Benjamini–Hochberg` уже после просмотра результата и объявить значимость, потому что `FDR`-поправки обычно мягче, чем `FWER`
Ответ: Если вы контролируете `FWER` поправкой `Holm`, решение принимают по скорректированным `p-value`, а не по сырым.
Сырой `p-value` не учитывает, что вы делали несколько проверок, а поправка `Holm` как раз корректирует это для контроля `FWER`. Если скорректированный `p-value` больше порога, то с точки зрения заранее выбранного правила значимость не подтверждена. Типичная ошибка — показывать только сырой `p-value` и умалчивать про множественность, что делает отчёт некорректным.
Подробный разбор → 19Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
Ответ: В `Benjamini–Hochberg` ищут максимальный индекс `i`, где `p_i <= (i/m)*q`.
Здесь пороги равны 0.01, 0.02, 0.03, 0.04, 0.05 для `m=5` и `q=0.05`. Первые три `p-value` проходят свои пороги, а четвёртый (0.07) не проходит 0.04. Поэтому отклоняются первые три гипотезы. Типичная ошибка — отклонять только те, что меньше 0.05, не учитывая правило `Benjamini–Hochberg`.
Подробный разбор → 20В эксперименте у вас 1 основная метрика и 3 защитных метрики, а также 10 сегментных разрезов. Какой подход к принятию решения наиболее корректен с точки зрения множественных проверок?
AОбъявлять успех при `p-value < 0.05` хотя бы по одной из метрик в любом сегменте: число проверок не корректируется заранее
BЗаранее зафиксировать правило: основной эффект отдельно, защитные метрики как ограничения, сегменты исследовательские либо с поправкой
CВыбирать сегмент с лучшим `p-value` и считать его основной аудиторией эксперимента, остальные результаты в отчёт не включать
DПрименять поправку `Bonferroni` только к метрикам, которые оказались незначимыми, чтобы вытянуть результат и улучшить картину
Ответ: Нужно заранее заданное правило принятия решения: что первично, что ограничения и как трактуются сегменты при множественных сравнениях.
Структура решения с одной основной метрикой и защитными ограничениями называется decision rule: основная проверяется на заявленном уровне, защитные используются как guard-условия (не должны ухудшиться значимо), сегментные разрезы либо помечаются исследовательскими и подтверждаются отдельно, либо корректируются на множественность. Это исключает рассуждения «хоть одна метрика где-то значима» и подбор сегментов постфактум. Применять поправку только к незначимым метрикам — это инвертировать логику и систематически завышать число находок.
Подробный разбор →