Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?

AОстанется на уровне 0.05, потому что порог по alpha фиксирован для каждого отдельного теста
BУменьшится, потому что при большом числе вариантов истинный эффект найти сложнее
CУвеличится из-за множественных сравнений: каждая лишняя проверка добавляет шанс случайной находки
DИзменит только величину наблюдаемого эффекта, но не вероятность ложного срабатывания
Правильный ответ. Чем больше проверок при одном alpha, тем выше шанс случайно получить хотя бы одно значимое отличие.

Разбор

Каждый отдельный тест на уровне alpha = 0.05 допускает ошибку первого рода с вероятностью 5%. Когда тестов много, у каждого появляется шанс случайно превысить порог, и общий риск получить хотя бы одно ложное срабатывание растёт. Для 8 независимых сравнений он составляет около 1 − 0.95^8 ≈ 0.34, то есть в семь раз выше номинальных 5%. Поэтому при множественных сравнениях используют корректировки вроде Бонферрони или контроль FDR.

Проверь себя · 1/3разбор после ответа
Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»