Доверительные интервалы: вопросы для собеседования (часть 3)
Доверительный интервал показывает диапазон правдоподобных значений параметра, а не вероятность попадания в него — и эту разницу обязательно спросят. Как построить интервал для среднего, для доли, как ширина зависит от размера выборки — стандартные вопросы на собеседовании. Грамотная интерпретация CI важнее, чем умение его посчитать.
Вопросы 11–15 из 20
11Вы строите 95% `confidence interval`, но в симуляции получаете `покрытие` около 90%. Какая причина наиболее правдоподобна?
AВы использовали слишком большую выборку, поэтому `покрытие` упало.
BВы занижаете `standard error` или нарушены предпосылки метода, из-за чего интервалы слишком узкие.
CЭто нормально: у 95% интервала `покрытие` всегда должно быть 90%.
DПричина в том, что `confidence level` не связан с `покрытием`.
Ответ: Если `standard error` занижен или модель не соответствует данным, фактическое `покрытие` падает ниже номинального `confidence level`.
`Confidence level` задаёт целевое `покрытие` при корректной модели и корректном `standard error`. Если вы недооценили `standard error` (например, не учли зависимость) или нарушили предпосылки метода, интервалы получатся слишком узкими. В симуляции это проявляется как `покрытие` ниже 95%.
12Какое утверждение корректно различает стандартное отклонение и `standard error`?
AЭто одно и то же, просто разные названия.
B`Standard error` описывает разброс отдельных наблюдений, а стандартное отклонение — разброс среднего.
C`Standard error` не зависит от размера выборки n, потому что это свойство данных.
DСтандартное отклонение описывает разброс данных, а `standard error` — неопределённость оценки и обычно уменьшается при росте n.
Ответ: Не путайте разброс данных и неопределённость оценки: это разные величины.
Стандартное отклонение описывает разброс отдельных наблюдений, а `standard error` — разброс оценок между повторными выборками. Для среднего обычно `standard error ≈ s/√n`, поэтому увеличение n уменьшает неопределённость и сужает `confidence interval`. Ошибка — подставлять стандартное отклонение вместо `standard error` и получать завышенный `margin of error`.
13У двух кампаний одинаковое число показов и одинаковый `confidence level` при оценке доли конверсий. У какой кампании `confidence interval` для доли будет шире?
AУ кампании с конверсией около 50%, потому что `standard error` для доли там обычно больше.
BУ кампании с конверсией около 5%, потому что маленькие числа всегда менее надёжны.
CШирина будет одинаковой, потому что число показов одинаковое.
DЗависит только от `confidence level`, а от доли не зависит.
Ответ: Для доли `standard error` зависит от `p(1-p)` и максимален около 0.5.
Для доли дисперсия равна `p(1-p)`, поэтому `standard error` зависит от самой доли при фиксированном n. Максимум `p(1-p)` достигается около p=0.5, поэтому там неопределённость больше. Из-за этого `confidence interval` для конверсии около 50% обычно шире, чем для очень малой конверсии при том же n.
14Вы измеряете CTR по кликам и показам, но считаете каждый показ независимым, хотя у одного пользователя их много. Какой эффект это чаще всего даёт на `confidence interval` и `покрытие`?
AИнтервал станет шире, потому что событий больше.
BИнтервал станет слишком узким из-за заниженного `standard error`, и `покрытие` упадёт.
CНичего не изменится: зависимость не влияет на `standard error`.
DИнтервал станет шире только потому, что изменится `confidence level`.
Ответ: Зависимые наблюдения уменьшают эффективный n, поэтому наивный `standard error` получается заниженным.
Если вы берёте много событий от одного пользователя, наблюдения внутри пользователя коррелированы. Наивная формула считает их независимыми и занижает `standard error`, делая `confidence interval` слишком узким. В результате фактическое `покрытие` падает, и вы чаще «находите эффекты», которых нет.
15В дашборде можно переключать `confidence level` с 95% на 80%, чтобы интервалы выглядели уже. Какое объяснение корректно?
A80% интервал надёжнее, потому что он уже.
B80% означает, что с вероятностью 80% истинный параметр лежит в конкретном интервале.
C80% `confidence level` даёт меньший `margin of error`, но `покрытие` процедуры ниже и промахов будет больше.
D80% интервал корректен только при очень больших выборках, иначе он бессмысленный.
Ответ: Ниже `confidence level` — уже интервал и больше риск промаха.
80% `confidence level` делает интервал уже, потому что уменьшается критическое значение и `margin of error`. Это может быть полезно для разведки, но риск промаха выше, то есть `покрытие` ниже, чем у 95% интервала. Ошибка — трактовать 80% как вероятность параметра внутри конкретного `confidence interval`.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram