Доверительные интервалы: вопросы для собеседования (часть 2)
Доверительный интервал показывает диапазон правдоподобных значений параметра, а не вероятность попадания в него — и эту разницу обязательно спросят. Как построить интервал для среднего, для доли, как ширина зависит от размера выборки — стандартные вопросы на собеседовании. Грамотная интерпретация CI важнее, чем умение его посчитать.
Вопросы 6–10 из 20
6Две метрики измерены по одинаковому числу наблюдений n. У первой метрики дисперсия заметно выше. Для какой метрики `confidence interval` среднего будет шире при одинаковом `confidence level`?
AДля метрики с меньшей дисперсией, потому что там «меньше шума».
BШирина будет одинаковой, потому что n одинаковое.
CДля метрики с большей дисперсией, потому что `standard error` больше.
DНельзя сравнить ширины без знания среднего значения.
Ответ: При фиксированном n ширина `confidence interval` растёт с дисперсией через `standard error`.
Ширина `confidence interval` для среднего зависит от `standard error`, а он растёт с дисперсией данных. При одинаковом n более «шумная» метрика даст более широкий интервал и больший `margin of error`. Типичная ловушка — сравнивать ширины интервалов без учёта различий в вариативности.
7В отчёте указано: `margin of error` для доли равен 2 п.п. Что это значит для `confidence interval` вокруг оценки 40% при симметричном интервале?
AИнтервал будет от 40% до 42%.
BИнтервал будет от 36% до 44%.
CИнтервал будет от 39% до 41%.
DИнтервал будет от 38% до 42%.
Ответ: `Margin of error` — это половина ширины симметричного `confidence interval` вокруг точечной оценки.
При симметричном `confidence interval` границы строят как `estimate ± margin of error`. Если оценка 40% и `margin of error` равен 2 п.п., то получаем 38% и 42%. Ошибка — считать, что `margin of error` равен полной ширине интервала.
8Для разницы конверсий A−B вы получили `95% confidence interval` от −0.4 п.п. до 1.2 п.п. Что корректно сказать про проверку `H0: Δ=0` на уровне 0.05 (двусторонняя)?
AЭффект значим, потому что верхняя граница больше 0.
BНет оснований отвергнуть `H0`, потому что 0 находится внутри `confidence interval`.
CЭто означает, что разницы точно нет и эффект равен 0.
DЭто означает, что `p-value` ровно 0.05.
Ответ: Для двустороннего теста связь простая: если `confidence interval` включает 0, то `H0` на этом уровне не отвергается.
Двусторонний 95% `confidence interval` содержит значения параметра, которые не отвергаются на уровне 0.05. Если 0 входит в интервал, то для гипотезы `H0: Δ=0` нет оснований её отвергнуть на этом уровне. При этом это не означает, что эффект точно равен 0 — просто данных недостаточно для уверенного вывода.
9У двух групп есть отдельные 95% `confidence interval` для конверсии, и интервалы немного перекрываются. Можно ли из одного факта перекрытия сделать вывод, что разницы нет на уровне 0.05?
AДа, перекрытие всегда означает отсутствие статистически значимой разницы.
BДа, но только если интервалы перекрываются больше чем на половину ширины.
CНет, перекрытие отдельных интервалов не равно тесту разницы; нужен `confidence interval` для разницы или `p-value`.
DНет, потому что сравнивать интервалы можно только при одинаковых средних.
Ответ: Сравнивать нужно интервал для разницы, а не визуально перекрытие двух отдельных `confidence interval`.
Перекрытие двух отдельных `confidence interval` не эквивалентно проверке разницы между группами. Для вывода о различии нужен интервал для разницы (или тест с `p-value`), потому что учитывается совместная неопределённость. Неинтуитивный момент: даже при небольшом перекрытии разница может быть статистически значимой.
10Для среднего времени ответа построен `confidence interval` от 120 мс до 160 мс. Чему равен `margin of error`?
A20 мс
B40 мс
C120 мс
D160 мс
Ответ: `Margin of error` — это половина ширины интервала: `(upper−lower)/2`.
Ширина интервала равна 160 − 120 = 40 мс, а `margin of error` — половина ширины. Значит, `margin of error` равен 20 мс. Частая ошибка — перепутать половину ширины с полной шириной.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram