Основы проверки гипотез: вопросы для собеседования (часть 4)
Нулевая и альтернативная гипотеза, p-value, уровень значимости, ошибки первого и второго рода — каркас статистического вывода. На собеседовании просят объяснить, что значит p-value = 0.03, можно ли «принять» нулевую гипотезу и в чём отличие одностороннего теста от двустороннего. Без этого блока остальная статистика не имеет смысла.
Вопросы 16–20 из 20
16Команда получила `p-value` = 0.07 при заранее заявленном уровне значимости 0.05 и предлагает поднять его до 0.10, чтобы объявить результат значимым. Почему это плохая практика?
AУровень значимости в принципе не может быть больше 0.05 ни в одном дизайне эксперимента в индустрии: это формальное ограничение
BПри таком пересмотре вероятность ошибки II рода становится равной нулю и эксперимент полностью теряет смысл с точки зрения мощности
CУровень значимости нужно фиксировать до анализа данных, иначе растёт риск ошибки I рода и выводы становятся недостоверными
DПосле такого пересмотра `p-value` автоматически пересчитывается и становится равным выбранному порогу 0.05 по построению
Ответ: Уровень значимости выбирают до просмотра данных, иначе возрастает риск ложноположительных результатов.
Уровень значимости `α` фиксируется до анализа данных и не двигается под результат, иначе фактическая частота ошибок I рода превышает заявленную. Это классическая практика `p-hacking`: когда пороги подгоняют под наблюдаемый `p-value`, реальная вероятность ложного срабатывания оказывается значительно выше декларируемой. Уровень значимости 0.10 в принципе допустим в некоторых задачах (например, в скрининговых исследованиях), просто его нужно объявить заранее. Ни ошибка II рода, ни сам `p-value` от пересмотра порога не пересчитываются автоматически.
Подробный разбор → 17В A/B тесте получен эффект +1.2% и `p-value` = 0.06 при `alpha` = 0.05. Какое заключение корректно?
AНужно отвергнуть `H0`, потому что значение `p-value` близко к `alpha = 0.05` и фактически уже находится в зоне статистической значимости теста
BВероятность истинности альтернативной гипотезы `H1` ровно равна 94%, а вероятность истинности `H0` равна 6% при таком наблюдаемом значении `p-value` в этом тесте
CНа уровне `alpha = 0.05` нет оснований отвергнуть `H0`; это не доказывает отсутствие эффекта и может означать недостаточную мощность теста при текущей выборке
DЭффект точно равен нулю, раз `p-value > alpha`, и любое наблюдаемое отклонение метрики от нуля связано исключительно со случайным шумом в данных эксперимента
Ответ: Если `p-value ≥ alpha`, `H0` не отвергают, но это не доказательство нулевого эффекта — может не хватать мощности теста.
Результат 0.06 означает, что при верной `H0` такие данные не слишком редки для порога `alpha = 0.05`. Это может быть как «эффекта нет», так и «эффект есть, но данных мало», то есть высокая вероятность ошибки II рода и недостаточная мощность теста. Типичная ошибка — объявлять «почти значимо» как значимо или трактовать это как доказательство отсутствия эффекта. `p-value` также не равен вероятности истинности `H1`.
Подробный разбор → 18Вы хотите повысить мощность теста с 0.6 до 0.8, сохранив уровень значимости и тот же целевой эффект. Какой шаг наиболее напрямую помогает добиться этого?
AУменьшить уровень значимости с 0.05 до 0.01, чтобы критерий стал строже и чаще обнаруживал реальный эффект в группах
BРазбить трафик на 5 сегментов и анализировать каждый отдельно при том же общем объёме, чтобы не пропустить локальные эффекты
CСократить окно наблюдения, чтобы быстрее закончить тест, даже если метрика по дням станет заметно более шумной
DУвеличить размер выборки, чтобы снизить стандартную ошибку оценки и тем самым повысить шанс обнаружить тот же эффект
Ответ: При фиксированном уровне значимости самый прямой рычаг для роста мощности — увеличить выборку или снизить шум метрики.
Рост выборки снижает стандартную ошибку и повышает вероятность обнаружить заданный эффект, то есть снижает вероятность ошибки II рода и повышает мощность. Уменьшение уровня значимости делает критерий строже и обычно снижает мощность при той же выборке. Дополнительное дробление на сегменты или шумная метрика при коротком окне ухудшают обнаружение эффекта.
Подробный разбор → 19В решении «выпускать фичу или нет» пусть `H0` означает: фича не улучшает метрику. Что такое ошибка I и ошибка II рода в этом контексте?
AОшибка I рода: не выпустить улучшение `H1`; ошибка II рода: выпустить ухудшение, обратная трактовка определений
BОшибка I рода: принять `H0`, когда нулевая гипотеза верна; ошибка II рода: отвергнуть её, когда она ложна
CОшибка I рода: выпустить фичу, хотя `H0` верна; ошибка II рода: не выпустить фичу, хотя `H1` верна
DОшибка I и II рода: разные названия `p-value` для одной и той же проверяемой гипотезы `H0`
Ответ: Ошибка I рода — ложноположительное решение (отвергли верную `H0`), а ошибка II рода — ложноотрицательное (не отвергли ложную `H0`).
Если `H0` верна, а вы всё равно выпускаете фичу, это ошибка I рода: «нашли улучшение там, где его нет». Если верна `H1`, но вы не выпустили улучшение, это ошибка II рода, связанная с `beta`. Баланс рисков определяет выбор `alpha`, целевой мощности и размера выборки. Вариант с заменой определений местами — частая путаница, а связь с `p-value` — некорректное упрощение.
Подробный разбор → 20Для двустороннего теста при `alpha` = 0.05 95% доверительный интервал для эффекта равен [0.3; 1.1]. Что это означает для `H0: delta = 0` и связи с `p-value`?
AНельзя отвергнуть `H0`: интервал несимметричный относительно нуля, а тест требует строгой симметрии границ интервала
BНужно отвергнуть `H0` автоматически: любое значение `alpha` больше нуля само по себе делает наблюдаемое отличие значимым
CРешение определяется только мощностью `1 - beta`: доверительный интервал не связан с `p-value` и в выводе не используется
DНужно отвергнуть `H0`: 0 не входит в 95% интервал, что для двустороннего теста эквивалентно условию `p-value < alpha`
Ответ: Если ноль не входит в 95% интервал при `alpha` = 0.05, то `H0` обычно отвергают по эквивалентности с двусторонним тестом.
Двусторонний тест на уровне `alpha = 0.05` и 95%-й доверительный интервал тесно связаны: если ноль не лежит внутри интервала, `p-value < 0.05` и `H0: delta = 0` отвергается. Здесь интервал [0.3; 1.1] лежит правее нуля, значит `H0` отвергаем. Симметрия границ относительно нуля никакому тесту не требуется — она зависит от точечной оценки. Любое отличие `alpha` от нуля само по себе ничего не значит: важно сравнение `p-value` с `alpha`. Мощность `1 - beta` относится к ошибке II рода и тоже не определяет решение по `H0`.
Подробный разбор →