Множественные сравнения: вопросы для собеседования (часть 2)
Чем больше гипотез проверяешь, тем выше вероятность ложного открытия. Поправка Бонферрони, Benjamini-Hochberg, FWER vs FDR — методы контроля этой проблемы. На собеседовании спрашивают, почему нельзя просто проверить 20 сегментов и доложить о «статистически значимых» различиях без коррекции.
Вопросы 6–10 из 20
6У вас два сценария: (1) критичное решение по безопасности, (2) поиск идей среди 50 метрик для следующего спринта. Какое сочетание контроля ошибок чаще всего разумно?
AВ обоих случаях использовать только `FDR`, потому что он мощнее и реже даёт ложные пропуски
BДля безопасности контролировать `FWER`, а для скрининга идей — `FDR`
CВ обоих случаях не делать поправок: `p-value` уже корректно учитывает множественные сравнения
DДля безопасности использовать `Benjamini–Hochberg`, а для скрининга идей — `Bonferroni`
Ответ: `FWER` обычно выбирают для высоких ставок, а `FDR` — для исследовательского скрининга.
При решениях по безопасности важно минимизировать риск любой ложной находки, поэтому выбирают контроль `FWER` — например, поправку Бонферрони. При скрининге большого числа гипотез важнее иметь больше мощности и контролировать долю ложных находок среди отвергнутых, поэтому используют `FDR` (например, процедуру Бенджамини–Хохберга). Применять одинаковую строгость к разным по цене ошибки задачам — типичная ошибка: либо теряете мощность, либо принимаете опасный риск.
Подробный разбор → 7Аналитик пробует 5 вариантов определения конверсии (разные окна) и выбирает тот, где `p-value` минимален. Как правильнее всего описать проблему?
AПроблемы нет: выбор определения по минимальному `p-value` делает оценку точнее, потому что мы как бы сглаживаем шум за счёт перебора разных окон конверсии
BЭто форма множественных проверок и `p-hacking`: нужно фиксировать определение заранее или явно учитывать число попыток при интерпретации результата
CЭто допустимо: при переборе пяти определений метрика автоматически контролирует `FDR` на уровне 0.05, и поправка на множественность уже не нужна
DЭто допустимо только при условии, что после выбора окна вы примените поправку `Bonferroni` к одному окончательному значению `p-value`
Ответ: Выбор определения после просмотра результатов фактически увеличивает число проверок и создаёт `p-hacking`.
Если вы попробовали несколько определений метрики и выбрали то, где результат лучше, вы повышаете шанс случайной находки. Даже если формально вы показываете один `p-value`, за ним стоит несколько попыток. Типичная защита — заранее зафиксировать определение, либо явно маркировать анализ как исследовательский и подтверждать на новом запуске. Контроль `FDR` сам по себе не возникает, а поправка `Bonferroni` к одному уже выбранному окну не лечит проблему отбора по результату.
Подробный разбор → 8Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
AРиск случайной «значимости» при множественных проверках выше, чем `alpha` 0.05, поэтому нужен заранее заданный план или поправка на множественность
BЭффект можно считать доказанным: `p-value < 0.05` достаточно само по себе, поправки на число проверок здесь не требуются и только мешают
CЧем больше независимых проверок, тем меньше шанс ложной находки: лишние сравнения усредняют шум и снижают итоговую вероятность ошибки
D`FWER` всегда равен 0.05 независимо от числа тестов, потому что уровень `alpha` фиксируется заранее и не зависит от количества метрик
Ответ: При множественных проверках вероятность хотя бы одной ложной находки растёт, и `FWER` превышает исходный `alpha`.
Если проверок много, даже при отсутствии реальных эффектов часть `p-value` будет меньше 0.05 просто случайно. Это означает рост шанса получить хотя бы одну ложную 'победу' в семействе тестов, то есть рост `FWER`. Типичная ошибка — трактовать один случайный `p-value` как подтверждённый эффект без учёта количества проверок.
Подробный разбор → 9Система мониторинга каждый день проверяет 50 метрик и отправляет алерт при `p-value < 0.05`. Что поможет снизить число ложных алертов из-за множественных проверок, сохранив чувствительность?
AПоднять порог до `alpha = 0.2`, чтобы алерты приходили чаще и команда быстрее реагировала на любые отклонения значений
BОставить всё как есть: если `p-value < 0.05`, алерт всегда корректен и нет смысла учитывать общее количество ежедневных проверок
CКонтролировать `FDR` для дневного набора проверок, например через `Benjamini–Hochberg`, и явно фиксировать семейство тестов
DОтключить все метрики кроме одной самой важной, чтобы избежать множественных сравнений и не настраивать поправки на семейство
Ответ: При большом числе ежедневных проверок полезно контролировать множественность, например через `FDR` (долю ложных открытий).
Когда вы проверяете десятки метрик, шанс случайного `p-value < 0.05` в любой из них заметно возрастает, и алерты становятся шумными. Контроль `FDR` помогает держать долю ложных срабатываний среди поднятых алертов на приемлемом уровне. Типичная ошибка — интерпретировать каждое срабатывание как отдельное событие, забывая, что вы запускаете сразу много тестов ежедневно. Поднятие порога или отключение метрик решает симптом, а не причину.
Подробный разбор → 10Вы запустили A/B/C-тест: контрольная группа и два варианта. Вы делаете два сравнения (вариант 1 vs контроль, вариант 2 vs контроль) и хотите ограничить риск ложной победы. Что корректнее всего сделать?
AПроверить оба сравнения на `alpha=0.05` без коррекции, потому что вариантов всего два и риск ложной победы при этом не растёт
BРассматривать ситуацию как множественные сравнения и применить поправку (`Holm` или `Bonferroni`) либо заранее выбрать приоритетный вариант
CСчитать значимым только то сравнение, где `p-value` оказался меньше, а второе игнорировать, чтобы упростить интерпретацию итогов теста
DПовысить уровень значимости `alpha`, чтобы быстрее найти победителя среди вариантов и не пропустить эффект из-за слишком строгого порога
Ответ: Два сравнения против контроля — это множественные проверки, и без поправки растёт шанс ложной победы.
Если объявлять победу, когда значим хотя бы один из двух вариантов, общий риск ошибки растёт по сравнению с одним тестом. Поправка (`Holm` или `Bonferroni`) делает пороги строже и помогает контролировать FWER (вероятность хотя бы одной ошибки I рода) для семейства сравнений. Альтернатива — заранее выбрать приоритетный вариант и тестировать только его, а второй оставить исследовательским. Игнорировать второй вариант, повышать `alpha` или считать «всего два сравнения безопасными» — все эти ходы не контролируют семейную ошибку.
Подробный разбор →