Основы проверки гипотез: вопросы для собеседования (часть 3)
Нулевая и альтернативная гипотеза, p-value, уровень значимости, ошибки первого и второго рода — каркас статистического вывода. На собеседовании просят объяснить, что значит p-value = 0.03, можно ли «принять» нулевую гипотезу и в чём отличие одностороннего теста от двустороннего. Без этого блока остальная статистика не имеет смысла.
Вопросы 11–15 из 20
11Когда уместно использовать одностороннюю альтернативу `H1: delta > 0` вместо двусторонней `H1: delta ≠ 0`?
AКогда хочется получить меньший `p-value` без дополнительных условий и заранее зафиксированного направления эффекта
BКогда заранее (до данных) интересует только улучшение, а ухудшение не будет интерпретироваться как успех
CКогда выборка большая и двусторонний тест избыточен: одностороннюю альтернативу выбирают для упрощения отчётности
DКогда `H0` симметрична относительно нуля: одностороннюю альтернативу применяют для проверки симметрии распределения
Ответ: Односторонний тест уместен только при заранее заданном направлении эффекта в `H1`.
Одностороннюю альтернативу выбирают, когда направление эффекта обосновано до сбора данных и противоположное направление вас содержательно не интересует. Например, при тестировании оптимизации скорости загрузки имеет смысл смотреть только на ускорение — замедление не считаем успехом. Выбор односторонней альтернативы постфактум, чтобы получить меньший `p-value`, — нарушение протокола и раздувание ошибки I рода. Размер выборки и симметрия `H0` к выбору альтернативы отношения не имеют.
Подробный разбор → 12При фиксированном размере выборки и фиксированном реальном эффекте что обычно произойдёт с вероятностью ошибки II рода (`beta`), если уменьшить порог значимости (`alpha`), сделав критерий строже?
AВероятность ошибки II рода уменьшится, потому что более строгий критерий якобы делает тест точнее
BВероятность ошибки II рода не изменится, ведь ошибки I и II рода устроены полностью независимо
CВероятность ошибки II рода увеличится, а мощность теста снизится при том же размере выборки
DВероятность ошибки II рода станет равна вероятности ошибки I рода и обе будут равны новому порогу
Ответ: При фиксированной выборке более строгий порог значимости обычно повышает вероятность ошибки II рода и снижает мощность теста.
Когда вы уменьшаете порог значимости, вы реже отклоняете нулевую гипотезу, то есть снижаете риск ошибки I рода. Но при том же размере выборки это обычно повышает риск не заметить настоящий эффект — вероятность ошибки II рода (`beta`) растёт, а мощность теста (`power = 1 − beta`) падает. Ловушка — думать, что можно одновременно сильно уменьшить и `alpha`, и `beta` без увеличения выборки или улучшения дизайна. На практике этот компромисс лечится ростом `n` или снижением дисперсии метрики.
Подробный разбор → 13Вы проверили 20 независимых гипотез, для каждой использовали уровень значимости 0.05 и предположили, что везде истинна `H0`. Сколько ложных срабатываний (ошибка I рода) ожидается в среднем?
AОколо 1 ложного срабатывания: произведение количества проверок 20 и уровня значимости 0.05 даёт ожидаемое значение
BОколо 0.05 ложных срабатываний: уровень значимости одного теста, не пересчитанный на общее число проверенных гипотез
CОколо 0.10 ложных срабатываний: удвоенный уровень значимости одного теста без учёта числа проверенных гипотез в серии
DОколо 5 ложных срабатываний: пятая часть от 20 проверок без учёта малой вероятности ложного срабатывания на одной
Ответ: При множественных проверках ожидаемое число ложных срабатываний примерно равно `tests * alpha`.
Если `H0` истинна для всех 20 независимых тестов и в каждом уровень значимости равен 0.05, число ложных срабатываний — биномиальная случайная величина с математическим ожиданием `n * α = 20 * 0.05 = 1`. Это базовая интуиция за поправкой Бонферрони. Значение 0.05 — это вероятность ошибки I рода на один тест, а не ожидаемое количество ошибок в серии. 0.10 не следует ни из какой формулы. Около 5 ошибок (20 / 4) — типичная путаница между уровнем значимости и какой-то другой долей.
Подробный разбор → 14Для двустороннего теста при уровне значимости 0.05 построен 95% доверительный интервал для эффекта: [-0.2; 0.1]. Что следует сказать о проверке H0: delta = 0?
AНельзя отвергнуть H0, потому что 0 лежит внутри 95% доверительного интервала
BНужно отвергнуть H0, потому что доверительный интервал получился несимметричным
CНужно отвергнуть H0, потому что доверительный интервал получился достаточно узким
DРешение зависит от мощности теста, доверительный интервал с проверкой не связан
Ответ: Если 0 входит в 95% доверительный интервал, при уровне значимости 0.05 двусторонняя проверка обычно не отвергает H0.
Для двусторонних тестов 95% доверительный интервал соответствует уровню значимости 0.05 по логике «интервал исключает ноль → значимость». Здесь 0 находится внутри интервала, значит данные совместимы с нулевым эффектом и оснований отвергать H0 обычно нет. Узость или несимметричность интервала сами по себе ничего не говорят о значимости — важна именно граница пересечения с нулём. Мощность связана с риском не заметить эффект, но решение по двустороннему тесту считается через интервал и уровень значимости, а не отдельно.
Подробный разбор → 15Какое утверждение про `p-value` наиболее верное?
A`p-value` показывает величину наблюдаемого эффекта в процентах от базового значения метрики
B`p-value` показывает совместимость данных (или более экстремальных) с нулевой гипотезой `H0`
C`p-value` численно совпадает с уровнем значимости `alpha` при корректной постановке теста
D`p-value` равен вероятности истинности нулевой гипотезы `H0` при наблюдаемых данных
Ответ: `p-value` — это про совместимость данных с нулевой гипотезой `H0`, а не про размер эффекта или вероятность гипотез.
`p-value` вычисляется при предположении, что нулевая гипотеза верна, и измеряет «насколько необычны» данные при этом предположении. Он не говорит о величине эффекта и не сообщает вероятность гипотез. Типичная ловушка — считать маленький `p-value` доказательством большой пользы или гарантии успеха. Ещё одна ошибка — отождествлять `p-value` с уровнем значимости `alpha`: `alpha` фиксируется заранее как порог, а `p-value` зависит от данных.
Подробный разбор →