Множественное тестирование: вопросы для собеседования (часть 3)
Когда в эксперименте несколько вариантов или метрик, вероятность ложноположительного результата растёт. Поправка Бонферрони, FDR, Holm — методы контроля ошибки множественного сравнения. На собеседовании просят объяснить, почему нельзя просто запустить тест с пятью вариантами и выбрать лучший по p-value.
Вопросы 11–15 из 20
11В `A/B/n` тесте вы сравниваете контроль и 3 варианта по одной первичной метрике, а цена ошибочного запуска очень высока. Какой выбор коррекции на множественные сравнения наиболее логичен?
AИспользовать `Bonferroni` или `Holm`, потому что важен контроль `family-wise error` и минимизация ложноположительных срабатываний
BНе делать коррекцию вовсе, потому что первичная метрика одна, а несколько вариантов теста не увеличивают вероятность ошибки первого рода
CИспользовать `FDR`, чтобы найти больше победителей и не упустить эффект, даже если цена ошибочного запуска для бизнеса очень высокая
DПовысить `alpha` до 0.1 для всех сравнений, чтобы не упустить эффект и быстрее принять решение по выкату варианта в продукт
Ответ: Если критично избежать даже одного ложноположительного срабатывания, выбирают методы контроля `family-wise error` вроде `Bonferroni` или `Holm`.
В подтверждающих запусках чаще важнее надёжность, чем число обнаруженных эффектов. `Bonferroni` и `Holm` нацелены на ограничение вероятности хотя бы одной ложной находки в семье сравнений (`family-wise error`). Это может снизить шанс «победы» для настоящего эффекта, но снижает риск дорогостоящей ошибки. Отказ от коррекции, выбор `FDR` ради «больше победителей» или повышение `alpha` до 0.1 идут вразрез с целью минимизации ложноположительных срабатываний.
Подробный разбор → 12Вы настроили контроль FDR (доля ложных открытий) на уровне 0.1 и после процедуры Бенджамини–Хохберга получили 20 значимых сравнений. Как корректнее интерпретировать это число?
AВ среднем по повторениям процедуры около 10% из этих 20 находок ожидаются ложноположительными
BВероятность хотя бы одной ложноположительной ошибки среди 20 находок в этом списке равна ровно 10%
CКаждая отдельная находка имеет ровно 10% шанс быть ложной независимо от остальных значимых результатов
DЭто означает, что общий уровень значимости alpha всего эксперимента после поправки стал равен 0.1
Ответ: Контроль FDR задаёт ожидаемую долю ложных открытий среди объявленных значимыми, а не вероятность ошибки для каждой отдельной находки.
FDR — это математическое ожидание по повторениям всей процедуры, а не гарантия для одного конкретного списка находок. Поэтому корректно говорить про среднюю долю ложных результатов среди значимых, а не про вероятность для одной находки. Контроль FDR также не равен FWER (вероятность хотя бы одной ошибки) и не превращается в общий уровень значимости alpha эксперимента.
Подробный разбор → 13Команда запустила тест с одним контролем и шестью вариантами, посмотрела результаты и решила протестировать только лучший вариант против контроля на тех же данных, используя уровень значимости 0.05. В чём главная проблема такого подхода?
AДвойное использование данных и скрытая множественность сравнений: выбор лучшего по этим же данным завышает риск ложноположительных
BПроблем нет: достаточно зафиксировать `alpha = 0.05` и сравнить лучший вариант с контролем на тех же данных без поправок
CГлавная проблема в необходимости поднять уровень значимости с 0.05 до 0.1 из-за падения мощности при шести сравниваемых вариантах
DПоправка `Benjamini-Hochberg` в таком дизайне неприменима, и остаётся только последовательный анализ с фиксацией данных
Ответ: Если сначала выбрать победителя по данным, а затем проверить его теми же данными, то из-за отбора растёт доля ложноположительных результатов.
Когда вы выбираете лучший вариант из нескольких, вы уже используете множественные сравнения, даже если формально считаете только одно `p-value`. Повторная проверка на тех же данных не «обнуляет» этот выбор и делает выводы слишком оптимистичными. Корректнее заранее фиксировать план сравнений и поправку или подтверждать победителя на независимых данных. Иначе «победа» может быть просто удачной флуктуацией.
Подробный разбор → 14В тесте `A/B/n` (A — контроль, B и C — варианты) вы применили `Holm` на сравнения B против A и C против A по основной метрике. После коррекции значимым осталось только сравнение C против A. Как корректно сформулировать вывод?
AМожно утверждать, что C лучше всех вариантов, включая B: после коррекции значимым осталось только сравнение C против контроля
BПрименение поправки `Holm` к набору сравнений делает любые дальнейшие выводы по основной метрике невозможными, в том числе про C и A
CМожно утверждать, что B и C дают одинаковый эффект, раз сравнение B с контролем после коррекции не оказалось статистически значимым
DМожно утверждать, что C статистически лучше контроля при контроле общей ошибки, но сравнение B и C требует отдельного корректного теста
Ответ: После `Holm` корректно делать только те выводы, которые соответствуют проверенным и скорректированным гипотезам.
Коррекция контролирует семейную ошибку для набора сравнений, которые вы включили в процедуру. Если значимым осталось C против A, то именно это утверждение вы можете поддерживать статистически. Отсутствие значимости для B против A не доказывает равенство, а также не даёт права сравнивать B и C без отдельного теста. Для продуктового решения также важно дополнительно оценить практическую значимость и риски.
Подробный разбор → 15Вы тестируете 1 контроль и 12 вариантов креатива; цель — отобрать несколько перспективных кандидатов для следующего подтверждающего теста. Какой подход к множественным сравнениям чаще соответствует этой цели?
AПрименить жёсткий `Bonferroni` к 12 сравнениям, чтобы среди отобранных кандидатов почти не оказалось ложных находок
BКонтролировать `FDR` через процедуру `Benjamini–Hochberg`, чтобы ограничить ожидаемую долю ложных открытий среди кандидатов
CПолностью игнорировать поправку на множественные сравнения, чтобы не терять мощность при отборе перспективных вариантов
DПовысить `alpha` до 0.2 на этапе отбора, чтобы пройти проверку могло больше вариантов и список кандидатов стал шире
Ответ: Для отбора кандидатов в поисковой фазе часто используют контроль `FDR`, чтобы балансировать находки и долю ложных открытий.
В поисковой задаче обычно важнее не пропустить перспективные варианты, чем полностью исключить одну ложную находку. Контроль `FDR` даёт больше мощности при большом числе сравнений и задаёт понятный контроль качества короткого списка. Затем отобранные варианты подтверждают отдельным экспериментом или более строгой процедурой типа `Bonferroni` на финальной фазе.
Подробный разбор →