Доверительные интервалы: вопросы для собеседования (часть 2)
Доверительный интервал показывает диапазон правдоподобных значений параметра, а не вероятность попадания в него — и эту разницу обязательно спросят. Как построить интервал для среднего, для доли, как ширина зависит от размера выборки — стандартные вопросы на собеседовании. Грамотная интерпретация CI важнее, чем умение его посчитать.
Вопросы 6–10 из 20
6Две метрики измерены по одинаковому числу наблюдений `n`. У первой дисперсия заметно выше. Для какой метрики доверительный интервал среднего будет шире при том же уровне доверия?
AДля метрики с меньшей дисперсией, потому что в её данных «меньше шума»
BШирина будет одинаковой, потому что число наблюдений `n` совпадает
CДля метрики с большей дисперсией, потому что её стандартная ошибка больше
DСравнить ширины нельзя без знания среднего значения метрик
Ответ: При фиксированном `n` ширина доверительного интервала растёт с дисперсией через стандартную ошибку.
Ширина доверительного интервала для среднего зависит от стандартной ошибки, а та растёт с дисперсией данных. При одинаковом `n` более «шумная» метрика даёт более широкий интервал и больший предельный размер ошибки. Типичная ловушка — сравнивать ширины интервалов без учёта различий в вариативности или ориентироваться только на среднее.
Подробный разбор → 7В отчёте указано: предел погрешности (`margin of error`) для доли равен 2 п.п. Что это значит для доверительного интервала вокруг оценки 40% при симметричном интервале?
AИнтервал будет от 40% до 42%: предел погрешности добавляется только к верхней границе оценки
BИнтервал будет от 38% до 42%: предел погрешности откладывается симметрично от точечной оценки в обе стороны
CИнтервал будет от 36% до 44%: предел погрешности означает полную ширину доверительного интервала вокруг оценки
DИнтервал будет от 39% до 41%: предел погрешности равен половине от половины ширины интервала вокруг оценки
Ответ: Предел погрешности — это половина ширины симметричного доверительного интервала вокруг точечной оценки.
При симметричном доверительном интервале границы строят как «оценка ± предел погрешности». Если оценка 40% и предел погрешности равен 2 п.п., то получаем 38% и 42%. Частая ошибка — считать, что предел погрешности равен полной ширине интервала или относится только к одной стороне.
Подробный разбор → 8Для разницы конверсий A−B вы получили 95% доверительный интервал от −0.4 п.п. до 1.2 п.п. Что корректно сказать про проверку `H0: Δ=0` на уровне 0.05 (двусторонняя)?
AЭффект значим на уровне 0.05, потому что верхняя граница доверительного интервала больше 0 и интервал явно сдвинут вправо
BЭто означает, что `p-value` ровно 0.05 при двусторонней проверке, потому что граница интервала проходит близко к нулевой разнице
CНет оснований отвергнуть `H0` на уровне 0.05, потому что 0 находится внутри 95% доверительного интервала разности конверсий
DЭто означает, что разницы между группами точно нет и истинный эффект равен 0, потому что интервал содержит ноль и тест не показывает значимости
Ответ: Для двустороннего теста связь простая: если доверительный интервал включает 0, то `H0` на этом уровне не отвергается.
Двусторонний 95% доверительный интервал содержит значения параметра, которые не отвергаются на уровне 0.05. Если 0 входит в интервал, то для гипотезы `H0: Δ=0` нет оснований её отвергнуть на этом уровне. При этом это не означает, что эффект точно равен 0 — просто данных недостаточно для уверенного вывода.
Подробный разбор → 9У двух групп есть отдельные 95% доверительные интервалы для конверсии, и интервалы немного перекрываются. Можно ли из одного факта перекрытия сделать вывод, что разницы нет на уровне 0.05?
AДа, любое визуальное перекрытие двух отдельных интервалов всегда означает отсутствие статистически значимой разницы между группами
BНет, перекрытие отдельных интервалов не равно тесту разницы; нужен доверительный интервал для разницы или `p-value`
CДа, но только в том случае, если интервалы перекрываются больше чем на половину ширины меньшего из двух интервалов
DНет, потому что сравнивать доверительные интервалы между группами можно только при условии одинаковых выборочных средних
Ответ: Сравнивать нужно доверительный интервал для разницы между группами, а не визуально оценивать перекрытие двух отдельных интервалов.
Перекрытие двух отдельных доверительных интервалов не эквивалентно проверке разницы между группами. Для вывода о различии нужен интервал для разницы (или тест с `p-value`), потому что учитывается совместная неопределённость. Неинтуитивный момент: даже при небольшом перекрытии разница может быть статистически значимой.
Подробный разбор → 10Для среднего времени ответа построен доверительный интервал от 120 мс до 160 мс. Чему равна предельная ошибка (margin of error)?
A20 мс: половина ширины интервала, то есть `(160 − 120) / 2`
B40 мс: полная ширина интервала, то есть `160 − 120`
C120 мс: нижняя граница доверительного интервала по выборке
D140 мс: середина интервала и точечная оценка среднего
Ответ: Предельная ошибка — это половина ширины интервала: `(upper − lower) / 2`.
Ширина интервала равна `160 − 120 = 40` мс, а предельная ошибка — половина ширины, то есть 20 мс. Частая ошибка — перепутать половину ширины с полной шириной интервала или назвать ошибкой нижнюю границу либо середину.
Подробный разбор →