Вы построили 95% доверительные интервалы для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?

AТак можно: доверительный интервал уже учитывает случайность, выбор сегмента ничего не меняет
BТак делать опасно: при выборе из многих сегментов растёт шанс случайной находки и теряется заявленное покрытие
CТак можно при самом большом размере выборки в выбранном сегменте: оценка становится надёжной
DТак можно при положительном точечном эффекте, даже если интервал получился очень широким
Правильный ответ. Выбор «лучшего» сегмента после просмотра многих нарушает частотный смысл доверительного интервала и снижает покрытие.

Разбор

Когда вы смотрите на много сегментов и выбираете один «самый красивый», вы фактически проводите множественный поиск и повышаете шанс случайной находки. Номинальный уровень доверия и заявленное покрытие относятся к заранее заданной процедуре, а не к выбранному постфактум результату. Обычно нужна повторная проверка на новых данных или поправка на множественные сравнения.

Проверь себя · 1/3разбор после ответа
Для среднего времени ответа построен доверительный интервал от 120 мс до 160 мс. Чему равна предельная ошибка (margin of error)?
Тренировать статистику в Telegram

Ещё вопросы по теме «Доверительные интервалы»