Доверительные интервалы: вопросы для собеседования (часть 4)
Доверительный интервал показывает диапазон правдоподобных значений параметра, а не вероятность попадания в него — и эту разницу обязательно спросят. Как построить интервал для среднего, для доли, как ширина зависит от размера выборки — стандартные вопросы на собеседовании. Грамотная интерпретация CI важнее, чем умение его посчитать.
Вопросы 16–20 из 20
16Аналитик показывает 95% доверительный интервал для среднего времени доставки и говорит: «в 95% будущих доставок время будет в этом диапазоне». Какой ответ корректен?
AВерно: доверительный интервал среднего совпадает с диапазоном будущих значений отдельных доставок
BВерно при условии, что выборка большая и стандартная ошибка среднего достаточно маленькая
CНеверно, потому что доверительный интервал среднего всегда шире, чем разброс отдельных доставок
DНеверно: доверительный интервал описывает неопределённость среднего, а для отдельных значений нужен прогнозный интервал
Ответ: Доверительный интервал относится к параметру или среднему, а не к отдельным будущим наблюдениям.
Доверительный интервал для среднего отвечает на вопрос про неопределённость оценки среднего, а не про разброс отдельных наблюдений. Даже если среднее известно точно, отдельные значения всё равно могут сильно колебаться, поэтому нужен другой инструмент — прогнозный интервал. Типичная ошибка — использовать доверительный интервал как обещание, что большинство будущих наблюдений попадёт внутрь него. Прогнозный интервал, как правило, заметно шире.
Подробный разбор → 17Вы построили 95% доверительные интервалы для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?
AТак можно: доверительный интервал уже учитывает случайность, выбор сегмента ничего не меняет
BТак делать опасно: при выборе из многих сегментов растёт шанс случайной находки и теряется заявленное покрытие
CТак можно при самом большом размере выборки в выбранном сегменте: оценка становится надёжной
DТак можно при положительном точечном эффекте, даже если интервал получился очень широким
Ответ: Выбор «лучшего» сегмента после просмотра многих нарушает частотный смысл доверительного интервала и снижает покрытие.
Когда вы смотрите на много сегментов и выбираете один «самый красивый», вы фактически проводите множественный поиск и повышаете шанс случайной находки. Номинальный уровень доверия и заявленное покрытие относятся к заранее заданной процедуре, а не к выбранному постфактум результату. Обычно нужна повторная проверка на новых данных или поправка на множественные сравнения.
Подробный разбор → 18Вы хотите уменьшить предельную ошибку (margin of error) для среднего примерно в 2 раза при том же уровне доверия и похожей дисперсии. Во сколько раз примерно нужно увеличить размер выборки `n`?
AВ 2 раза: линейная зависимость предельной ошибки от размера выборки `n`
BВ 3 раза: компромисс между удвоением и квадратичным ростом числа наблюдений
CВ 4 раза: предельная ошибка убывает пропорционально `1/√n`
DВ 10 раз: нужен большой запас, иначе доверительный интервал не сузится
Ответ: Стандартная ошибка падает как `1/√n`, поэтому для сужения интервала вдвое нужно увеличить `n` примерно в 4 раза.
Для большинства оценок предельная ошибка пропорциональна стандартной ошибке среднего, а та убывает как `σ/√n`. Чтобы уменьшить предельную ошибку в 2 раза, нужно уменьшить стандартную ошибку в 2 раза, то есть увеличить `n` примерно в 4 раза. Частая ошибка — думать, что достаточно просто удвоить `n`: тогда интервал сузится только в `√2 ≈ 1.41` раз. Чтобы сузить интервал в 10 раз, выборку нужно увеличить уже в 100 раз.
Подробный разбор → 19В A/B тесте оценка эффекта по конверсии равна +0.3 п.п., а 95%-ный доверительный интервал — от −0.1 п.п. до 0.7 п.п. Минимально полезный эффект для бизнеса — 0.2 п.п. Какой вывод корректнее всего?
AДанных недостаточно для уверенного вывода об улучшении хотя бы на 0.2 п.п.: интервал пересекает и 0, и порог 0.2
BМожно уверенно запускать изменение, потому что точечная оценка эффекта положительная и равна +0.3 п.п.
CМожно утверждать, что эффект как минимум 0.2 п.п., раз верхняя граница интервала больше этого порога
D95%-ный уровень означает, что с вероятностью 95% эффект не меньше 0.2 п.п. в этом тесте
Ответ: Сравнивайте доверительный интервал не только с 0, но и с порогом практической значимости, который важен бизнесу.
Доверительный интервал включает отрицательные значения и значения ниже порога 0.2, поэтому нельзя гарантировать полезный эффект. Для бизнес-решения важно определить порог практической значимости и сравнивать интервал именно с ним, а не только с нулём. Частая ошибка — запускать изменение по положительной точечной оценке, игнорируя риск ухудшения и неопределённость, заложенную в интервале.
Подробный разбор → 20Вы строите 95% доверительный интервал для среднего по небольшой выборке, где σ неизвестна. Почему часто используют критическое значение `t`, а не `z`?
AПотому что стандартная ошибка оценивается по выборке и сама случайна; распределение `t` учитывает это и даёт более корректное покрытие при малом `n`
BПотому что распределение `t` всегда делает доверительный интервал заметно уже, чем `z`, поэтому им удобнее пользоваться для отчётов с маленькой выборкой
CПотому что `z` применим только для долей, а для среднего по выборке его использовать в принципе нельзя ни при каких условиях и размерах выборки
DПотому что распределение `t` меняет уровень доверия и автоматически делает его больше, чем заявленный в формулировке доверительного интервала
Ответ: При малом `n` и неизвестной σ корректнее использовать `t`, потому что оценка стандартной ошибки сама случайна.
Когда σ неизвестна, вы используете выборочное `s` в стандартной ошибке, и это добавляет ещё один источник неопределённости. Распределение `t` учитывает это и имеет более толстые хвосты, поэтому при малом `n` интервал получается шире, что помогает сохранить заявленное покрытие. При росте `n` `t` приближается к `z`, и разница почти исчезает. Утверждения, что `t` уже, что `z` только для долей, или что меняется уровень доверия — неверны.
Подробный разбор →