Проверка гипотез и доверительные интервалы: вопросы для собеседования (часть 4)
p-value, доверительные интервалы, ошибки первого и второго рода — статистический фундамент A/B-тестов. На собеседовании спрашивают, как интерпретировать доверительный интервал, пересекающий ноль, и чем p-value отличается от вероятности истинности гипотезы. Неправильная интерпретация этих понятий — красный флаг для интервьюера.
Вопросы 16–20 из 20
16Как корректнее всего интерпретировать 95% доверительный интервал в частотной статистике?
AС вероятностью 95% истинный эффект лежит внутри этого конкретного построенного интервала на этих данных
BЕсли повторять эксперимент много раз и каждый раз строить 95% доверительный интервал, то примерно 95% таких интервалов будут содержать истинный эффект
C95% наблюдений в эксперименте обязательно попадают в этот интервал, остальные 5% считаются выбросами вне границ
D95% пользователей в тесте имеют индивидуальный эффект, лежащий внутри границ построенного доверительного интервала
Ответ: Частотный 95% доверительный интервал — это свойство процедуры в повторениях, а не вероятность для одного фиксированного интервала.
В частотной трактовке параметр фиксирован, а случайны данные и построенный интервал. Поэтому говорить о 95% вероятности для конкретного интервала некорректно в строгом смысле. Правильная интуиция: процедура построения интервала в среднем покрывает истинный эффект в 95% повторов; вероятность относится к процедуре, а не к одному интервалу на конкретной выборке.
Подробный разбор → 17Какая ситуация лучше всего подходит для выбора `z-test` вместо `t-test` в типичном A/B тестировании?
AСравнение средних при неизвестной дисперсии и небольшом размере выборки.
BСравнение долей конверсии в двух группах на больших выборках.
CСравнение распределений по нескольким категориям в таблице частот.
DСравнение медиан выручки при сильных выбросах в обеих группах.
Ответ: `z-test` обычно выбирают для разницы долей при больших выборках, а `t-test` — для средних с неизвестной дисперсией.
Двухпропорционный `z-test` хорошо работает для конверсий: на больших выборках разность долей приближается к нормальному распределению, а его параметры известны. `t-test` уместен для средних, особенно при небольших `n` и неизвестной дисперсии. Таблицы частот по нескольким категориям сравнивают через хи-квадрат, а сравнение медиан при выбросах — это область непараметрических тестов вроде Манн–Уитни. Поэтому именно «доли на больших выборках» — типичный сценарий для `z-test`.
Подробный разбор → 18Вы смотрите 20 метрик и для каждой проверяете гипотезу на уровне значимости 0.05, объявляя успехом любую метрику, где `p-value < 0.05`. Какой риск возрастает сильнее всего?
AРиск ошибки II рода (пропустить реальный эффект) при таком сценарии становится практически нулевым
BШирина каждого 95% доверительного интервала автоматически уменьшается из-за большого числа сравнений
CВероятность того, что нулевая гипотеза `H0` истинна, после серии проверок заметно увеличивается
DОбщий риск ошибки I рода по набору метрик возрастает, и шанс ложноположительной находки становится высоким
Ответ: Множественные проверки увеличивают общий риск ошибки I рода по набору, если не контролировать его на уровне всех гипотез.
Даже если каждая отдельная проверка имеет уровень значимости 0.05, при большом числе метрик растёт вероятность хотя бы одного ложноположительного результата по всему набору. Это может привести к ошибочному выводу об успехе на основе случайного шума. Чтобы этого избежать, заранее фиксируют основные и страховочные метрики и при необходимости применяют поправки на множественные сравнения. Риск ошибки II рода тут не уходит в ноль, ширина доверительных интервалов от числа сравнений сама по себе не уменьшается, а `p-value` ничего не говорит о вероятности истинности `H0`.
Подробный разбор → 19Для прироста конверсии 95%-й доверительный интервал равен от -1% до +5%, а минимально полезный эффект для бизнеса начинается с +2%. Что это означает для решения?
AРезультат однозначно отрицательный: изменения точно вредны, потому что нижняя граница интервала отрицательная, и тест надо немедленно откатить
BРезультат однозначно положительный и полезный, потому что верхняя граница интервала равна +5%, а это выше порога практической значимости в 2%
CРезультат неопределённый: интервал включает и вред, и практически полезный эффект, поэтому стоит увеличить выборку, продлить тест или снизить дисперсию метрики
DЭто автоматически гарантирует, что `p-value` будет меньше `alpha` 0.05, а значит можно принимать решение в пользу варианта без дополнительных проверок
Ответ: Если доверительный интервал включает и 0, и практически важные значения, вывод обычно остаётся неопределённым.
Интервал от -1% до +5% говорит, что данные совместимы с разными сценариями: от небольшого ухудшения до заметного улучшения. При таком интервале нельзя уверенно принять решение по практической полезности. Часто нужно больше наблюдений, снижение дисперсии метрики или более точная формулировка гипотезы и критериев успеха.
Подробный разбор → 20Для двусторонней проверки на уровне значимости 0.05 какое утверждение обычно верно при корректно построенном 95% доверительном интервале для разницы B − A?
AЕсли интервал включает 0, `p-value` будет в точности 0.05, а границы интервала совпадают с порогом значимости теста.
BЧем уже доверительный интервал, тем больше `p-value` для разницы B − A, а ширина интервала равна самому `p-value`.
CЕсли интервал не включает 0, то `p-value` обычно меньше 0.05: вывод теста и интервала согласован.
DЕсли интервал включает 0, вероятность нулевого эффекта равна 95% и эффект уверенно отсутствует в данных.
Ответ: При корректно построенном 95% доверительном интервале для двусторонней проверки `H0`: эффект = 0 отвергается на уровне 5% тогда и только тогда, когда интервал не включает 0.
Двусторонний тест на уровне 0.05 и 95% доверительный интервал — это две стороны одного и того же вычисления. Если 0 не попал в интервал, `p-value` для гипотезы «эффект = 0» меньше 0.05, и наоборот. Поэтому утверждение про равенство `p-value` ширине интервала бессмысленно: ширина в единицах метрики, а `p-value` — вероятность. Утверждение «вероятность нулевого эффекта 95%» путает уровень доверия с вероятностью гипотезы и не соответствует частотной интерпретации интервалов.
Подробный разбор →