Проверка гипотез и доверительные интервалы: вопросы для собеседования (часть 3)
p-value, доверительные интервалы, ошибки первого и второго рода — статистический фундамент A/B-тестов. На собеседовании спрашивают, как интерпретировать доверительный интервал, пересекающий ноль, и чем p-value отличается от вероятности истинности гипотезы. Неправильная интерпретация этих понятий — красный флаг для интервьюера.
Вопросы 11–15 из 20
11В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
AСчитать результат статистически значимым, но оценить размер эффекта и сравнить его с бизнес-порогом, потому что эффект может быть слишком мал для внедрения
BСразу выкатывать изменение на всех пользователей, потому что маленький `p-value` гарантирует большой эффект и положительное влияние на бизнес-метрики продукта
CИгнорировать результат и закрывать тест, потому что при таких маленьких значениях `p-value` тест точно сломан и расчёт стандартной ошибки ненадёжен
DСделать вывод, что нулевая гипотеза верна, потому что эффект слишком мал и фактически совпадает с отсутствием различий между группами
Ответ: Статистическая значимость по `p-value` не равна практической полезности: всегда сверяйте размер эффекта с бизнес-порогом.
При больших выборках даже очень маленькие эффекты становятся статистически значимыми. Поэтому важно смотреть на размер эффекта и сравнивать его с бизнес-порогом, а также на доверительный интервал, чтобы понимать диапазон возможных значений. Решение о выкатывании учитывает стоимость внедрения и ожидаемую выгоду. Маленький `p-value` не гарантирует большой эффект, не означает поломки теста и не подтверждает нулевую гипотезу — это лишь сигнал о статистической различимости.
Подробный разбор → 12Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
AСреднюю ширину доверительного интервала на уровне 95% при принятии итогового решения по тесту
BВероятность ошибки II рода: пропустить реальный эффект, когда альтернативная гипотеза верна
CВероятность того, что вариант B даст результат лучше, чем вариант A в реальной аудитории
DВероятность ошибки I рода: отклонить верную `H0`, увидев эффект там, где его на самом деле нет
Ответ: `alpha` задаёт допустимый уровень ошибки I рода — частоту ложных срабатываний при верной `H0`.
Если `H0` верна, то при многократном повторении экспериментов правило отклонять её при `p-value < alpha` будет давать ложные срабатывания примерно с частотой `alpha`. При меньшем `alpha` снижается риск ложноположительных выводов, но обычно сложнее обнаружить реальный эффект без увеличения выборки. Ошибка II рода (пропуск эффекта) контролируется не `alpha`, а мощностью теста.
Подробный разбор → 13Если ложноположительное решение (ошибка I рода) очень дорого для бизнеса, какое изменение настройки тестирования чаще всего уместно?
AПоднять уровень `alpha`, чтобы быстрее находить значимые результаты, понимая, что ложноположительные срабатывания участятся.
BИгнорировать уровень `alpha` и принимать решения по знаку наблюдаемого эффекта, выбирая размер выборки на интуиции.
CСнизить уровень `alpha`, чтобы уменьшить риск ложноположительных выводов, понимая, что для той же мощности нужно больше данных.
DСчитать значимым результат с `p-value` больше 0.5, чтобы команда чаще принимала решения о запуске нового варианта.
Ответ: Если ложноположительный вывод дорог, обычно снижают `alpha`: это уменьшает риск ошибки I рода, но требует больше наблюдений для прежней мощности.
Уровень `alpha` определяет порог, при котором мы считаем эффект значимым. Если ошибка «запустить плохой вариант» болезненна для бизнеса, имеет смысл снизить `alpha` (например, с 0.05 до 0.01) — мы реже будем ошибочно отвергать `H0`. Платой будет рост требуемой выборки: чтобы сохранить ту же мощность при более строгом пороге, нужно больше данных. Игнорирование `alpha`, решение «по знаку эффекта» или признание значимыми результатов с `p-value` > 0.5 — это, наоборот, способы максимально увеличить риск ложноположительных выводов.
Подробный разбор → 14Для uplift выручки 95% доверительный интервал равен от +0.1% до +0.3% (0 не входит), но бизнес считает полезным только эффект от +2% и выше. Какой вывод наиболее корректен?
AЭффект статистически значим, но интервал лежит ниже бизнес-порога полезности: практическая ценность под вопросом
BЭффект большой и точно окупится: доверительный интервал не включает 0 и значимость подтверждена тестом
CЭффект статистически незначим: диапазон значений лежит ниже бизнес-порога 2% и около нуля по выручке
DНикаких выводов сделать нельзя: интервал слишком узкий и наблюдений в эксперименте, скорее всего, мало
Ответ: Даже при статистической значимости важно сравнивать эффект и доверительный интервал с практическим порогом полезности.
Интервал полностью выше 0, значит при уровне значимости 0,05 двусторонняя проверка обычно значима. Но если весь диапазон эффекта лежит ниже бизнес-порога, то практическая ценность сомнительна. Такие случаи часто возникают на больших выборках: статистика уверенно фиксирует малый эффект, который не помогает продукту.
Подробный разбор → 15Вы меняете уровень значимости с `alpha` 0.05 на `alpha` 0.10, оставляя размер выборки прежним. Какой эффект на ошибки наиболее вероятен?
AРиск ошибки I рода вырастет, риск ошибки II рода обычно снизится: мощность критерия растёт.
BРиск ошибки I рода снизится, риск ошибки II рода вырастет: мощность критерия падает при том же `n`.
CОбе ошибки уменьшатся одновременно за счёт более либеральной границы значимости и того же объёма выборки.
DИзменений в ошибках нет: уровень `alpha` влияет только на ширину доверительного интервала вокруг оценки.
Ответ: Поднимая `alpha`, мы делаем критерий либеральнее: чаще отвергаем `H0` (растёт риск ошибки I рода), но зато реже её ложно сохраняем (падает ошибка II рода).
Уровень значимости и мощность связаны напрямую при фиксированных `n`, дисперсии и эффекте. Чем больше `alpha`, тем шире зона отвержения, поэтому ошибочно отвергать верную `H0` мы будем чаще (рост ошибки I рода), зато верно отвергать ложную `H0` тоже будем чаще (мощность растёт, ошибка II рода падает). Уменьшать обе ошибки одновременно при том же размере выборки нельзя — для этого нужен дополнительный ресурс: больше наблюдений или снижение дисперсии метрики.
Подробный разбор →