Вопросы по теме «Основы проверки гипотез»
Нулевая и альтернативная гипотеза, p-value, уровень значимости, ошибки первого и второго рода — каркас статистического вывода. На собеседовании просят объяснить, что значит p-value = 0.03, можно ли «принять» нулевую гипотезу и в чём отличие одностороннего теста от двустороннего. Без этого блока остальная статистика не имеет смысла.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
Вопросы 1–5 из 20
1Как корректно интерпретировать значение `p-value` = 0.03 в проверке гипотез?
AЭто вероятность того, что `H0` истинна
BЭто вероятность получить такие же или более экстремальные данные при условии, что `H0` верна
CЭто вероятность того, что `H1` истинна
DЭто величина эффекта в 3%
Ответ: `p-value` — это вероятность данных (или более экстремальных) при верной `H0`.
`p-value` отвечает на вопрос: насколько наблюдаемые данные совместимы с `H0`. Это не вероятность истинности `H0` и не оценка размера эффекта. Типичная ловушка в интервью — читать `p-value` как «вероятность ошибки» или как «вероятность, что `H1` верна».
2В A/B тесте вы сравниваете метрику `conversion` между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
A`H0`: `pA = pB`, `H1`: `pA ≠ pB`
B`H0`: `pA > pB`, `H1`: `pA ≤ pB`
C`H0`: `pA ≠ pB`, `H1`: `pA = pB`
D`H0`: `p-value < alpha`, `H1`: `p-value ≥ alpha`
Ответ: Обычно `H0` формулируют как отсутствие эффекта, а `H1` — как наличие отличия.
Нулевая гипотеза `H0` фиксирует «нет разницы» между вариантами, а альтернативная `H1` задаёт, что разница есть. Для двусторонней проверки в `H1` ставят знак `≠`, потому что интересуют и рост, и падение. Частая ошибка — подменять гипотезы правилом сравнения `p-value` с `alpha`.
3Что означает выбор `alpha` = 0.01 в терминах `ошибка I рода`?
AВероятность не заметить реальный эффект (ошибка II рода) равна 0.01
BВероятность того, что `H0` верна, равна 0.01
CОжидаемый размер эффекта равен 1%
DМаксимально допустимая вероятность совершить ошибку I рода (отвергнуть верную `H0`) равна 0.01
Ответ: `alpha` контролирует риск `ошибка I рода`, то есть ложноположительного вывода.
`alpha` — это заранее выбранный порог для решения об отклонении `H0`. Он интерпретируется как верхняя граница вероятности отвергнуть `H0`, когда она на самом деле верна. Частая путаница — считать `alpha` вероятностью истинности `H0` или путать его с `beta`.
4При уровне значимости `alpha` = 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки?
AНужно принять `H0`, потому что `p-value` близко к 0.05
BНужно увеличить `alpha`, чтобы не ошибиться
CНужно отвергнуть `H0`, потому что `p-value < alpha`
DНельзя принять решение без знания `beta`
Ответ: Классическое правило: если `p-value < alpha`, то `H0` отвергают.
Уровень значимости `alpha` задаётся заранее как допустимая вероятность ошибки I рода. Если `p-value` меньше `alpha`, данные считаются достаточно несовместимыми с `H0`, и её отвергают. Важно не менять `alpha` «под результат», иначе растёт риск ложных находок.
5При прочих равных (тот же эффект и `alpha`) что обычно происходит с `power`, если увеличить размер выборки?
A`power` уменьшается, потому что выборка становится более шумной
B`power` не меняется, потому что `alpha` фиксирован
C`power` увеличивается, потому что стандартная ошибка уменьшается
D`power` становится равным `alpha`
Ответ: Большая выборка обычно повышает `power`, так как снижает неопределённость оценки эффекта.
При росте размера выборки стандартная ошибка оценки обычно уменьшается, и тест лучше отличает эффект от шума. Это снижает вероятность `beta` и повышает `power`. Ловушка — считать, что раз `alpha` фиксирован, то чувствительность теста не меняется.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram