Аналитик пробует 5 вариантов определения конверсии (разные окна) и выбирает тот, где p-value минимален. Как правильнее всего описать проблему?
AПроблемы нет: выбор определения по минимальному
p-value делает вывод более точнымBЭто форма
multiple comparisons и p-hacking: нужно фиксировать определение заранее или учитывать множественные проверки при интерпретацииCЭто автоматически означает, что
FDR контролируется на уровне 0.05DЭто допустимо только если затем применить
Bonferroni к одному выбранному окнуПравильный ответ. Выбор определения после просмотра результатов фактически увеличивает число проверок, то есть создаёт
multiple comparisons.Разбор
Если вы попробовали несколько определений метрики и выбрали то, где результат лучше, вы повышаете шанс случайной находки. Даже если формально вы показываете один p-value, за ним стоит несколько попыток. Типичная защита — заранее фиксировать определение, либо явно маркировать анализ как исследовательский и подтверждать на новом запуске.
Проверь себя · 1/3разбор после ответа
Вы проверяете эффект фичи на 5 сегментах и 2 платформах и планируете в презентации выбрать самые 'успешные' результаты. Что разумнее всего считать семейством тестов для контроля
FWER?Ещё вопросы по теме «Множественные сравнения»
- Вы сделали множественные сравнения (`multiple comparisons`): 20 независимых проверок при `alpha = 0.05` и нашли одну метрику с `p-value = 0.04`. Что корректнее всего сказать про этот результат?
- Какая пара определений наиболее корректно описывает `FWER` и `FDR` при множественных проверках?
- Вы делаете 10 проверок и хотите контролировать `FWER` на уровне `alpha=0.05`. Какой порог для каждого теста задаёт поправка `Bonferroni`?
- Вы хотите контролировать `FWER`, но `Bonferroni` кажется слишком консервативным. Какое утверждение про `Holm` наиболее верное?
- Вы применяете процедуру `Benjamini–Hochberg` для контроля `FDR` на уровне 0.05 к 5 проверкам с отсортированными `p-value`: 0.004, 0.012, 0.018, 0.07, 0.2. Сколько гипотез будет отклонено?
- Все вопросы по «Множественные сравнения» →