Вы проверили 20 независимых гипотез, для каждой использовали уровень значимости 0.05 и предположили, что везде истинна H0. Сколько ложных срабатываний (ошибка I рода) ожидается в среднем?

AОколо 1 ложного срабатывания: произведение количества проверок 20 и уровня значимости 0.05 даёт ожидаемое значение
BОколо 0.05 ложных срабатываний: уровень значимости одного теста, не пересчитанный на общее число проверенных гипотез
CОколо 0.10 ложных срабатываний: удвоенный уровень значимости одного теста без учёта числа проверенных гипотез в серии
DОколо 5 ложных срабатываний: пятая часть от 20 проверок без учёта малой вероятности ложного срабатывания на одной
Правильный ответ. При множественных проверках ожидаемое число ложных срабатываний примерно равно tests * alpha.

Разбор

Если H0 истинна для всех 20 независимых тестов и в каждом уровень значимости равен 0.05, число ложных срабатываний — биномиальная случайная величина с математическим ожиданием n * α = 20 * 0.05 = 1. Это базовая интуиция за поправкой Бонферрони. Значение 0.05 — это вероятность ошибки I рода на один тест, а не ожидаемое количество ошибок в серии. 0.10 не следует ни из какой формулы. Около 5 ошибок (20 / 4) — типичная путаница между уровнем значимости и какой-то другой долей.

Проверь себя · 1/3разбор после ответа
Для двустороннего теста при уровне значимости 0.05 построен 95% доверительный интервал для эффекта: [-0.2; 0.1]. Что следует сказать о проверке H0: delta = 0?
Тренировать статистику в Telegram

Ещё вопросы по теме «Основы проверки гипотез»