Вы построили 95% confidence interval для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?

AТак можно: confidence interval уже учитывает случайность, выбор сегмента ничего не меняет.
BТак делать опасно: из-за выбора из многих сегментов растёт шанс случайной находки, и заявленное покрытие для выбранного результата больше не гарантировано.
CТак можно, если сегмент самый большой по n.
DТак можно, если точечный эффект положительный, даже если интервал широкий.
Правильный ответ. Выбор «лучшего» сегмента после просмотра многих нарушает частотный смысл confidence interval и снижает покрытие.

Разбор

Когда вы смотрите на много сегментов и выбираете один «самый красивый», вы фактически проводите множественный поиск и повышаете шанс случайной находки. Номинальный confidence level и заявленное покрытие относятся к заранее заданной процедуре, а не к выбранному постфактум результату. Обычно нужна повторная проверка на новых данных или корректировка подхода к множественным сравнениям.

Проверь себя · 1/3разбор после ответа
Вы построили confidence interval на confidence level 99% вместо 95% по тем же данным. Как изменится интервал и почему?
Тренировать статистику в Telegram

Ещё вопросы по теме «Доверительные интервалы»