Для двустороннего теста при уровне значимости 0.05 построен 95% доверительный интервал для эффекта: [-0.2; 0.1]. Что следует сказать о проверке H0: delta = 0?
Нулевая и альтернативная гипотеза, p-value, уровень значимости, ошибки первого и второго рода — каркас статистического вывода. На собеседовании просят объяснить, что значит p-value = 0.03, можно ли «принять» нулевую гипотезу и в чём отличие одностороннего теста от двустороннего. Без этого блока остальная статистика не имеет смысла.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
AЭто вероятность того, что нулевая гипотеза `H0` истинна при наблюдаемых в эксперименте данных.
BЭто вероятность получить такие же или более экстремальные данные при условии, что `H0` верна.
CЭто вероятность того, что альтернативная гипотеза `H1` верна при наблюдаемых данных эксперимента.
DЭто оценка размера наблюдаемого эффекта в процентах от исходной величины метрики.
Ответ: `p-value` — это вероятность получить такие же или более экстремальные данные при условии, что `H0` верна.
`p-value` отвечает на вопрос: насколько наблюдаемые данные совместимы с `H0`. Это не вероятность истинности `H0` и не оценка размера эффекта. Типичная ловушка на интервью — читать `p-value` как «вероятность ошибки» или как «вероятность того, что `H1` верна». На самом деле он лишь оценивает совместимость данных с нулевой гипотезой.
B`H0`: `pA > pB`, `H1`: `pA ≤ pB`: формулировка односторонней проверки в одну сторону
C`H0`: `pA ≠ pB`, `H1`: `pA = pB`: гипотезы перепутаны местами относительно стандарта
D`H0`: `p-value < α`, `H1`: `p-value ≥ α`: правило принятия решения вместо самих гипотез
Ответ: Обычно `H0` фиксирует отсутствие эффекта, а `H1` — наличие отличия в любую сторону.
Нулевая гипотеза `H0` фиксирует «нет разницы» между вариантами, а альтернативная `H1` задаёт, что разница есть. Для двусторонней проверки в `H1` ставят знак `≠`, потому что интересуют и рост, и падение метрики. Односторонние формулировки со знаками `>` или `≤` отвечают на другой вопрос. Подменять гипотезы правилом сравнения `p-value` с уровнем значимости тоже неверно: это правило решения, а не сами гипотезы.
3Что означает выбор уровня значимости `alpha` = 0.01 в терминах ошибки I рода?
AВероятность не заметить реально существующий эффект (ошибка II рода) при заданной мощности теста равна 0.01.
BВероятность того, что нулевая гипотеза верна при наблюдаемых данных и заданной модели, равна 0.01.
CОжидаемый размер истинного эффекта в тестируемой метрике при текущем дизайне эксперимента равен примерно 1%.
DМаксимально допустимая вероятность отвергнуть верную нулевую гипотезу (ошибка I рода) при многократных повторениях равна 0.01.
Ответ: Уровень значимости `alpha` контролирует риск ошибки I рода — то есть вероятность ложноположительного вывода при верной нулевой гипотезе.
`alpha` — это заранее выбранный порог для решения об отклонении нулевой гипотезы. Он интерпретируется как верхняя граница вероятности отвергнуть гипотезу, когда она на самом деле верна. Частая путаница — считать `alpha` вероятностью истинности гипотезы или путать его с вероятностью ошибки II рода. На практике низкое `alpha` снижает долю ложных срабатываний, но при том же размере выборки увеличивает риск пропустить реальный эффект.
4При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
AОтвергнуть нулевую гипотезу, потому что `p-value` меньше уровня значимости и данные считаются несовместимыми с ней
BПринять нулевую гипотезу, потому что `p-value` близко к 0.05 и эффект на практике слишком слабый для решения
CУвеличить уровень значимости до 0.1, чтобы наверняка не пропустить эффект и подстраховаться от ошибки второго рода
DНе принимать решение, пока неизвестна вероятность ошибки второго рода, иначе нельзя интерпретировать результат теста
Ответ: Классическое правило: если `p-value` меньше уровня значимости, нулевую гипотезу отвергают.
Уровень значимости задаётся заранее как допустимая вероятность ошибки I рода. Если `p-value` меньше этого порога, данные считаются достаточно несовместимыми с нулевой гипотезой и её отвергают. Менять порог «под результат» нельзя — это раздувает риск ложных находок. Знание мощности (вероятности обнаружить эффект) полезно для планирования, но не требуется для самого правила решения.
5При прочих равных (тот же эффект и тот же уровень значимости) что обычно происходит с мощностью теста, если увеличить размер выборки?
AМощность теста уменьшается, потому что большая выборка делает оценку более шумной и хуже отделяет эффект от случайных колебаний
BМощность теста не меняется, потому что уровень значимости фиксирован, а значит чувствительность теста к эффекту вообще не зависит от размера выборки
CМощность теста увеличивается, потому что стандартная ошибка оценки уменьшается, и тест чаще обнаруживает реальный эффект при том же уровне значимости
DМощность теста становится равной уровню значимости, потому что при росте выборки распределение под нулевой гипотезой полностью совпадает с альтернативой
Ответ: Большая выборка обычно повышает мощность теста, так как снижает неопределённость оценки эффекта.
При росте размера выборки стандартная ошибка оценки эффекта обычно уменьшается, и тест лучше отличает реальный эффект от случайного шума. Это снижает вероятность ошибки II рода и повышает мощность при фиксированном уровне значимости. Типичная ловушка — считать, что раз уровень значимости фиксирован, то и чувствительность теста не меняется. На самом деле уровень значимости задаёт допустимую долю ложных срабатываний, а мощность зависит ещё и от размера выборки и величины эффекта.