Множественное тестирование: вопросы для собеседования (часть 4)
Когда в эксперименте несколько вариантов или метрик, вероятность ложноположительного результата растёт. Поправка Бонферрони, FDR, Holm — методы контроля ошибки множественного сравнения. На собеседовании просят объяснить, почему нельзя просто запустить тест с пятью вариантами и выбрать лучший по p-value.
Вопросы 16–20 из 20
16Вы анализируете тест с одним контролем и восемью вариантами и хотите выбрать 2–3 кандидата для следующего подтверждающего теста. Почему в такой задаче иногда предпочитают контроль доли ложных открытий вместо поправки Бонферрони?
AПоправка Бонферрони даёт больше мощности при большом числе сравниваемых вариантов и лучше подходит для отбора кандидатов из набора
BКонтроль доли ложных открытий обычно позволяет отобрать больше кандидатов при удержании ожидаемой доли ложных находок среди отобранных
CКонтроль доли ложных открытий снимает необходимость заранее определять набор проверяемых гипотез и заменяет план автоматическим отбором
DКонтроль доли ложных открытий делает попарные сравнения между вариантами полностью независимыми и устраняет риск ложных находок
Ответ: Контроль доли ложных открытий полезен в поисковой фазе: он допускает больше находок при удержании ожидаемой доли ложных среди отобранных кандидатов.
Если цель — короткий список, вы можете согласиться на то, что часть кандидатов окажется ложной находкой, но хотите держать эту долю под контролем. Тогда контроль доли ложных открытий часто даёт лучший баланс между количеством сигналов и риском, чем строгая поправка Бонферрони. В подтверждающей фазе короткий список перепроверяют более строгими методами или в отдельном эксперименте. Утверждения про независимость сравнений или ненужность набора гипотез не соответствуют реальной механике метода.
Подробный разбор → 17Какое утверждение обычно верно для `Benjamini–Hochberg` по сравнению с `Bonferroni` при большом числе проверок?
AОн гарантирует полное отсутствие ложноположительных срабатываний в любой выборке любого размера
BОн делает пороги всегда строже, чем `Bonferroni`, поэтому почти ни одна гипотеза в наборе не проходит
CОн обычно менее строгий и даёт больше мощности, потому что контролирует `FDR`, а не вероятность хотя бы одной ложной находки
DОн применим только к экспериментам ровно с двумя вариантами и теряет смысл при большом числе сравнений
Ответ: `Benjamini–Hochberg` обычно увеличивает шанс обнаружить реальные эффекты при большом числе проверок, контролируя `FDR`.
Когда гипотез много, контроль вероятности хотя бы одной ложной находки часто становится слишком строгим и «гасит» сигнал. `Benjamini–Hochberg` меняет цель: не исключить любую ложную находку, а ограничить их ожидаемую долю среди отвергнутых. Поэтому он обычно подходит для этапа поиска и ранжирования кандидатов и даёт больше мощности, чем `Bonferroni`. Утверждения о полной гарантии отсутствия ошибок, об ещё большей строгости или об ограничении только двумя вариантами — неверны.
Подробный разбор → 18В эксперименте `A/B/n` у вас контроль A и варианты B и C, и вы готовы запустить любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для поправки на множественные сравнения?
AТолько сравнение варианта, который оказался лучшим по приросту метрики, против контроля без учёта остальных вариантов
BСравнения варианта B против A и варианта C против A, потому что любое из них может привести к решению о запуске нового варианта
CТолько сравнение варианта B против варианта C, потому что внутри эксперимента варианты конкурируют между собой за запуск
DПоправка на множественные сравнения здесь не нужна, потому что измеряется одна и та же основная метрика во всех сравнениях
Ответ: Семья гипотез определяется решениями, которые вы планируете принимать, и в `A/B/n` обычно включает все плановые сравнения с контролем.
Если вы готовы запустить любой вариант, который обгонит контроль, то фактически у вас несколько шансов «победить» контроль. Поэтому сравнения B против A и C против A нужно учитывать совместно. Иначе вы будете недооценивать риск ложноположительных решений на уровне всего эксперимента и принимать невыгодные запуски чаще, чем подразумевает заявленный уровень значимости.
Подробный разбор → 19В тесте у вас контроль A и варианты B, C, D. Вы хотите интерпретировать сравнения каждого варианта с контролем и сравнение B с C. Что верно про выбор набора гипотез для поправки на множественные сравнения?
AВ набор нужно включить все сравнения, которые вы планируете интерпретировать (A против B, A против C, A против D, B против C)
BВ набор достаточно включить только те сравнения, где `p-value < 0.05`, остальные не влияют на риск ложных срабатываний
CВ набор включают только сравнения с контролем A, а парные сравнения вариантов между собой не учитываются в общем риске
DПоправка не нужна: все сравнения сделаны в одном эксперименте на одних данных и автоматически согласованы между собой по риску
Ответ: Набор гипотез для множественных сравнений должен совпадать с набором утверждений, которые вы планируете делать по результатам.
Поправка нужна не «по факту значимости», а по факту количества проверяемых утверждений. Если вы планируете делать выводы и про B против C, это дополнительная проверка, влияющая на общий риск ложных срабатываний. Поэтому набор гипотез должен включать все сравнения, которые вы хотите трактовать как подтверждённые. Иначе часть отчёта будет выглядеть более уверенно, чем она есть на самом деле.
Подробный разбор → 20Вы провели A/B тест, а затем проверили эффект отдельно в 8 сегментах пользователей и нашли значимость только в одном сегменте на уровне `alpha` 0.05. Какой вывод наиболее корректен?
AЭффект однозначно доказан именно для этого сегмента и не требует никаких дополнительных проверок, корректировок или подтверждающего эксперимента на новой выборке
BЭто пример множественных сравнений по сегментам: результат может оказаться случайной ошибкой первого рода, и нужен план коррекции или подтверждающий тест на этом сегменте
CЭто означает, что общий эффект по всем пользователям точно есть, просто он скрывался средним и проявился только при разрезе по конкретному пользовательскому сегменту
DЗначимость в одном сегменте автоматически гарантирует, что во всех остальных сегментах эффекта точно нет, и дополнительные подтверждающие проверки уже не нужны
Ответ: Проверка эффектов по множеству сегментов создаёт множественные сравнения и повышает риск ошибок первого рода без корректной процедуры.
Сегментация часто полезна, но она умножает число проверок, даже если формально эксперимент один. Если вы ищете «где значимо», то почти гарантированно найдёте случайные всплески при достаточно большом числе сегментов. Поэтому такие результаты лучше трактовать как исследовательские и подтверждать на новой выборке или с корректировками. Заранее заданные сегменты и план анализа уменьшают риск ошибочных выводов.
Подробный разбор →