Основы проверки гипотез: вопросы для собеседования (часть 2)
Нулевая и альтернативная гипотеза, p-value, уровень значимости, ошибки первого и второго рода — каркас статистического вывода. На собеседовании просят объяснить, что значит p-value = 0.03, можно ли «принять» нулевую гипотезу и в чём отличие одностороннего теста от двустороннего. Без этого блока остальная статистика не имеет смысла.
Вопросы 6–10 из 20
6Как связаны мощность теста `power` и вероятность ошибки II рода `beta`?
A`power = beta`: мощность совпадает с вероятностью пропустить эффект
B`beta = 1 - alpha`: ошибка II рода дополняет ошибку I рода до единицы
C`power = alpha / beta`: мощность как отношение вероятностей ошибок
D`power = 1 - beta`: мощность дополняет вероятность ошибки II рода до единицы
Ответ: Мощность теста — это вероятность обнаружить эффект, то есть `1 - beta`.
Мощность `power` — шанс правильно отвергнуть `H0`, когда верна `H1`, а `beta` — шанс не отвергнуть `H0` в той же ситуации. Эти события дополняют друг друга, поэтому `power = 1 - beta`. Вероятность ошибки I рода `alpha` — отдельная величина и связывается с `beta` только через дизайн теста (выборка, дисперсия, эффект).
Подробный разбор → 7Что обозначает параметр `beta` в проверке гипотез?
AВероятность ошибки II рода: не отвергнуть `H0`, когда она ложна
BВероятность ошибки I рода: отвергнуть `H0`, когда она верна
CПорог сравнения с `p-value` вместо уровня значимости `alpha` при принятии решения
DВероятность того, что `H1` верна, посчитанная по данным эксперимента
Ответ: `beta` — это вероятность ошибки II рода, то есть пропустить реальный эффект.
`beta` описывает риск не обнаружить эффект, когда он действительно есть (то есть когда `H0` ложна). В бизнесе это часто означает «не выпустить полезную фичу», хотя она улучшает метрику. Типичная ошибка — путать `beta` с `alpha` и считать оба параметра «уровнями значимости».
Подробный разбор → 8В эксперименте получено `p-value = 0.30` при `alpha = 0.05`. Какое утверждение наиболее корректно?
A`H0` доказана и эффект точно равен нулю, потому что наблюдённое `p-value` существенно превысило выбранный уровень `alpha`
BНет оснований отвергнуть `H0` на уровне `alpha`, но это не доказательство отсутствия эффекта: возможно, низкая мощность теста
CЭффект точно отсутствует в популяции, потому что `p-value` большой, и поэтому повторный запуск теста не имеет практического смысла
DТестовая версия точно хуже контрольной, раз нет статистической значимости при выбранном `alpha`, и её можно безопасно отключить
Ответ: Неудача отвергнуть `H0` не означает, что `H0` истинна: возможно, мощности просто не хватило для обнаружения эффекта.
Большое `p-value` означает, что данные не противоречат `H0` настолько, чтобы отвергнуть её при выбранном `alpha`. Это может быть и следствием малого реального эффекта или недостаточной выборки, то есть высокого `beta` и низкой мощности теста. Частая ошибка — интерпретировать «нет значимости» как «эффекта нет» или «вторая версия точно хуже». Корректный вывод осторожнее: пока недостаточно доказательств в пользу эффекта.
Подробный разбор → 9Два эксперимента имеют одинаковый размер выборки и одинаковый средний эффект, но во втором дисперсия метрики выше. Что обычно происходит с мощностью во втором эксперименте?
AМощность увеличивается: чем больше шум, тем больше информации в выборке для оценки эффекта
BМощность не меняется: фактический эффект остался прежним и выборка такого же размера
CМощность уменьшается: сигнал труднее отличить от шума при той же выборке
DМощность становится равной уровню значимости и перестаёт зависеть от величины эффекта
Ответ: Большая дисперсия повышает шум и обычно снижает мощность теста при фиксированной выборке.
При более высокой дисперсии стандартная ошибка оценки эффекта больше, и тесту сложнее отличить реальный эффект от случайных колебаний. Это повышает вероятность ошибки II рода и снижает мощность. Практический вывод — иногда полезнее стабилизировать метрику или изменить дизайн, чем просто ждать значимости.
Подробный разбор → 10В огромной выборке вы получили статистически значимый результат: `p-value` меньше уровня значимости, но рост метрики составил всего +0.05 п.п. Что важнее всего проверить дальше?
AПрактическую значимость: окупается ли эффект, важен ли он для продукта и стоит ли затрат на внедрение
BЧто `p-value` равен вероятности того, что альтернативная гипотеза верна: можно сразу запускать изменение в продакшен
CДолгосрочный эффект: исследовать, как `+0.05` пп изменения накопится через год при сохранении интенсивности использования
DСтабильность результата на половинах выборки: разделить данные пополам и проверить, в обеих ли половинах `p-value` маленький
Ответ: Статистическая значимость (`p-value`) не равна практической полезности эффекта.
На больших выборках статистическая значимость отделяется от практической: `p-value` чувствителен к `n` и фиксирует даже эффекты, которые не окупают разработку и поддержку. Поэтому первый шаг после маленького `p-value` — посчитать абсолютную и относительную величину эффекта, оценить экономику фичи и стоимость внедрения. `p-value` не равен вероятности альтернативной гипотезы — это распространённое заблуждение. Долгосрочное накопление и устойчивость на половинах выборки — полезные проверки, но они вторичны по сравнению с базовым вопросом «стоит ли овчинка выделки».
Подробный разбор →