Доверительные интервалы: вопросы для собеседования (часть 3)
Доверительный интервал показывает диапазон правдоподобных значений параметра, а не вероятность попадания в него — и эту разницу обязательно спросят. Как построить интервал для среднего, для доли, как ширина зависит от размера выборки — стандартные вопросы на собеседовании. Грамотная интерпретация CI важнее, чем умение его посчитать.
Вопросы 11–15 из 20
11Вы строите 95-процентный доверительный интервал, но в симуляции фактическое покрытие получается около 90 процентов. Какая причина наиболее правдоподобна?
AВы взяли слишком большую выборку, поэтому покрытие интервалов снизилось до 90 процентов вместо номинальных 95 процентов.
BСтандартная ошибка занижена или нарушены предпосылки метода, из-за чего интервалы получаются слишком узкими и не накрывают параметр.
CЭто нормально и ожидаемо: у 95-процентного интервала фактическое покрытие в симуляции всегда должно оказываться около 90 процентов.
DПричина в том, что уровень доверия в принципе никак не связан с покрытием интервалов и эти два понятия описывают разные вещи.
Ответ: Если стандартная ошибка занижена или модель не соответствует данным, фактическое покрытие падает ниже номинального уровня доверия.
Уровень доверия задаёт целевое покрытие при корректной модели и корректно оцененной стандартной ошибке. Если стандартная ошибка недооценена (например, не учли зависимость наблюдений) или нарушены предпосылки метода, интервалы получаются слишком узкими. В симуляции это проявляется как покрытие ниже номинального — например, 90 процентов вместо 95.
Подробный разбор → 12Какое утверждение корректно различает стандартное отклонение и стандартную ошибку среднего?
AЭто одно и то же: разные названия одной характеристики разброса данных при выборке `n`
BСтандартное отклонение описывает разброс данных, стандартная ошибка отражает неопределённость оценки и убывает при росте `n`
CСтандартная ошибка описывает разброс отдельных наблюдений, стандартное отклонение отражает разброс среднего по выборке `n`
DСтандартная ошибка не зависит от размера выборки `n`: это свойство данных, а не оценки среднего
Ответ: Не путайте разброс данных и неопределённость оценки: это разные величины с разной зависимостью от `n`.
Стандартное отклонение описывает разброс отдельных наблюдений, а стандартная ошибка — разброс оценок между повторными выборками. Для среднего обычно стандартная ошибка приблизительно равна `s/√n`, поэтому увеличение `n` уменьшает неопределённость и сужает доверительный интервал. Ошибка — подставлять стандартное отклонение вместо стандартной ошибки и получать завышенную предельную ошибку.
Подробный разбор → 13У двух кампаний одинаковое число показов и одинаковый уровень доверия при оценке доли конверсий. У какой кампании доверительный интервал для доли будет шире?
AУ кампании с конверсией около 50%, потому что стандартная ошибка для доли максимальна именно в районе `p = 0.5` и интервал получается шире
BУ кампании с конверсией около 5%, потому что маленькие значения доли всегда дают более широкий интервал, как при выборках малого размера
CШирина интервала будет одинаковой у обеих кампаний, потому что число показов одинаковое и формула якобы не зависит от самой доли
DШирина интервала зависит только от выбранного уровня доверия, а от значения наблюдённой доли при том же n не зависит совсем
Ответ: Для доли стандартная ошибка зависит от `p*(1-p)` и максимальна в районе `p = 0.5`.
Для доли дисперсия равна `p*(1-p)`, поэтому стандартная ошибка зависит от самой доли при фиксированном `n`. Максимум `p*(1-p)` достигается около `p = 0.5`, поэтому именно там неопределённость наибольшая. Из-за этого доверительный интервал для конверсии около 50% обычно шире, чем для очень малой конверсии при том же числе наблюдений. Уровень доверия влияет на ширину через множитель, но при фиксированном уровне сама доля тоже меняет ширину.
Подробный разбор → 14Вы измеряете CTR по кликам и показам, но считаете каждый показ независимым, хотя у одного пользователя их много. Какой эффект это чаще всего даёт на доверительный интервал и его покрытие?
AДоверительный интервал станет шире, потому что число событий растёт и оценка автоматически становится консервативнее
BНичего не изменится: зависимость наблюдений не влияет на стандартную ошибку и фактическое покрытие интервала
CДоверительный интервал станет шире только потому, что изменится уровень доверия и формула пересчёта
DСтандартная ошибка окажется заниженной, интервал будет слишком узким, и фактическое покрытие упадёт ниже заявленного
Ответ: Зависимые наблюдения уменьшают эффективный размер выборки, поэтому наивная стандартная ошибка получается заниженной.
Если вы берёте много событий от одного пользователя, наблюдения внутри пользователя коррелированы. Наивная формула считает их независимыми и занижает стандартную ошибку, делая доверительный интервал слишком узким. В результате фактическое покрытие падает ниже заявленного уровня, и вы чаще «находите эффекты», которых нет на самом деле.
Подробный разбор → 15В дашборде можно переключать уровень доверия с 95% на 80%, чтобы интервалы выглядели уже. Какое объяснение корректно?
A80% интервал надёжнее, потому что он уже и точнее показывает положение истинного параметра в данных
B80% означает, что с вероятностью 80% истинный параметр лежит именно в этом конкретном построенном интервале
C80% интервал корректен только при очень больших выборках, иначе результат бессмыслен и не должен использоваться
D80% уровень доверия даёт меньшую погрешность и более узкий интервал, но покрытие процедуры ниже и промахов будет больше
Ответ: Ниже уровень доверия — уже интервал и больше риск промаха: покрытие процедуры падает с 95% до 80%.
80% уровень доверия делает интервал уже, потому что уменьшается критическое значение и погрешность. Это может быть полезно для разведки и быстрых оценок, но риск промаха выше: покрытие процедуры — 80%, а не 95%. Частая ошибка — трактовать 80% как вероятность того, что истинный параметр попал в конкретный построенный интервал; уровень доверия описывает свойство процедуры, а не одного результата.
Подробный разбор →