Вы построили 95% доверительные интервалы для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?
Доверительный интервал показывает диапазон правдоподобных значений параметра, а не вероятность попадания в него — и эту разницу обязательно спросят. Как построить интервал для среднего, для доли, как ширина зависит от размера выборки — стандартные вопросы на собеседовании. Грамотная интерпретация CI важнее, чем умение его посчитать.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Что отражает величина стандартной ошибки в контексте доверительного интервала?
AРазброс отдельных наблюдений вокруг среднего, то есть вариативность исходных данных, не связанная с размером выборки
BСистематическое смещение оценки относительно истинного значения, возникающее из-за неверного дизайна выборки или метода расчёта
CНеопределённость точечной оценки из-за конечного размера выборки: насколько оценка колеблется между разными выборками
DДоля ошибок в данных, вызванная плохим трекингом событий или сбоями инструментирования при сборе сырых логов
Ответ: Стандартная ошибка описывает, насколько оценка колеблется от выборки к выборке, и уменьшается с ростом размера выборки.
Стандартная ошибка — это стандартное отклонение оценки (например, среднего) между повторными выборками. Для среднего часто используют приближение `s/√n`, поэтому при росте n она уменьшается. Типичная ошибка — путать стандартную ошибку со стандартным отклонением самих наблюдений: первое описывает разброс оценки, второе — разброс данных. Смещение и качество трекинга — отдельные проблемы, не связанные с определением стандартной ошибки.
2Вы построили доверительный интервал на уровне доверия 99% вместо 95% по тем же данным. Как изменится интервал и почему?
AБез изменений: данные те же, и стандартная ошибка не зависит от выбранного уровня доверия
BУже: при большей уверенности в оценке допустима меньшая погрешность вокруг точки
CШире: для уровня доверия 99% нужен больший критический множитель и больше предельной ошибки
DСдвиг центра при той же ширине: центр зависит от выборки, ширина определяется объёмом данных
Ответ: Повышение уровня доверия требует большего критического значения и предельной ошибки, поэтому интервал расширяется.
При большем уровне доверия процедура должна давать выше ожидаемое покрытие истинного параметра. Для этого увеличивается критическое значение в формуле вида `estimate ± z * standard error`, и растёт предельная ошибка `margin of error`. Цена — интервал становится шире, и тонкие эффекты подтвердить труднее. Идеи про «увереннее, значит уже» или «ширина не зависит от данных» — частые ошибки понимания.
3Что в статистике означает покрытие доверительных интервалов?
AДоля интервалов, накрывающих истинный параметр при многократном повторении процедуры построения по выборкам
BДоля наблюдений выборки, попадающих внутрь построенного интервала на одном конкретном датасете без повторений
CШирина интервала в единицах оцениваемого параметра как мера длины относительно масштаба показателя
DВероятность того, что истинный параметр находится внутри одного конкретного построенного интервала по выборке
Ответ: Покрытие — это частотная доля интервалов, накрывающих истинный параметр при повторениях процедуры.
Покрытие — это доля построенных интервалов, которые накрывают истинный параметр при повторении эксперимента. Номинальный уровень доверия (например, 95%) — это целевое покрытие процедуры, а не гарантия для каждого конкретного интервала. Если предпосылки нарушены или стандартная ошибка оценена неверно, фактическое покрытие может отличаться. Вариант про долю наблюдений путает интервал с разбросом данных, ширина — не покрытие, а масштаб; вероятность для одного интервала — частая, но неверная байесоподобная трактовка частотного интервала.
4Команда в разведочном анализе решила показывать интервалы с уровнем доверия 90% вместо 95%. Какое утверждение корректно описывает последствия?
AИнтервал станет шире и будет чаще накрывать истинное значение параметра
BПокрытие будет выше, чем у 95% интервала, что улучшит надёжность процедуры
CНичего по сути не меняется: меняется только подпись интервала в отчёте
DИнтервал станет уже, но фактическое покрытие процедуры будет ниже, чем при 95%
Ответ: Снижение уровня доверия уменьшает погрешность оценки, но увеличивает риск промаха мимо истинного значения.
Уровень доверия 90% означает, что процедура строит интервалы с меньшим целевым покрытием, чем при 95%. Платой за это становится более частый промах мимо истинного значения параметра. При этом критическое значение меньше, поэтому погрешность оценки уменьшается и интервал получается уже. Полностью игнорировать выбор уровня доверия нельзя: это влияет и на ширину интервала, и на надёжность вывода.
5Как корректно интерпретировать 95-процентный доверительный интервал для среднего чека, рассчитанный по выборке?
AЕсли бы мы многократно повторяли сбор выборки и каждый раз строили интервал тем же методом, то примерно в 95% случаев интервал содержал бы истинное среднее.
BС вероятностью 95% истинное среднее лежит внутри полученного интервала, потому что границы посчитаны прямо по выборке.
C95% наблюдений выборки лежат внутри полученного интервала, остальные пять процентов считаются выбросами и отбрасываются.
DИнтервал гарантированно накроет истинное среднее, если выборка достаточно большая и распределение чека близко к нормальному.
Ответ: Частотная трактовка говорит про долю интервалов, которые накроют параметр при многократных повторениях процедуры.
В частотном подходе параметр фиксирован, а случайность — в выборке и построенном по ней доверительном интервале. Поэтому 95% относится к процедуре построения: из многих интервалов примерно 95% будут содержать истинное значение. Типичная ошибка — говорить о вероятности параметра внутри конкретного интервала: для одного построенного интервала параметр либо в нём, либо нет.