Вы построили 95% доверительные интервалы для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?
AТак можно: доверительный интервал уже учитывает случайность, выбор сегмента ничего не меняет
BТак делать опасно: при выборе из многих сегментов растёт шанс случайной находки и теряется заявленное покрытие
CТак можно при самом большом размере выборки в выбранном сегменте: оценка становится надёжной
DТак можно при положительном точечном эффекте, даже если интервал получился очень широким
Правильный ответ. Выбор «лучшего» сегмента после просмотра многих нарушает частотный смысл доверительного интервала и снижает покрытие.
Разбор
Когда вы смотрите на много сегментов и выбираете один «самый красивый», вы фактически проводите множественный поиск и повышаете шанс случайной находки. Номинальный уровень доверия и заявленное покрытие относятся к заранее заданной процедуре, а не к выбранному постфактум результату. Обычно нужна повторная проверка на новых данных или поправка на множественные сравнения.
Проверь себя · 1/3разбор после ответа
Для среднего времени ответа построен доверительный интервал от 120 мс до 160 мс. Чему равна предельная ошибка (margin of error)?
Ещё вопросы по теме «Доверительные интервалы»
- Как корректно интерпретировать 95-процентный доверительный интервал для среднего чека, рассчитанный по выборке?
- Вы построили доверительный интервал на уровне доверия 99% вместо 95% по тем же данным. Как изменится интервал и почему?
- Что отражает величина стандартной ошибки в контексте доверительного интервала?
- В отчёте указано: предел погрешности (`margin of error`) для доли равен 2 п.п. Что это значит для доверительного интервала вокруг оценки 40% при симметричном интервале?
- Что в статистике означает покрытие доверительных интервалов?
- Все вопросы по «Доверительные интервалы» →