Вы построили 95% confidence interval для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?
AТак можно:
confidence interval уже учитывает случайность, выбор сегмента ничего не меняет.BТак делать опасно: из-за выбора из многих сегментов растёт шанс случайной находки, и заявленное
покрытие для выбранного результата больше не гарантировано.CТак можно, если сегмент самый большой по n.
DТак можно, если точечный эффект положительный, даже если интервал широкий.
Правильный ответ. Выбор «лучшего» сегмента после просмотра многих нарушает частотный смысл
confidence interval и снижает покрытие.Разбор
Когда вы смотрите на много сегментов и выбираете один «самый красивый», вы фактически проводите множественный поиск и повышаете шанс случайной находки. Номинальный confidence level и заявленное покрытие относятся к заранее заданной процедуре, а не к выбранному постфактум результату. Обычно нужна повторная проверка на новых данных или корректировка подхода к множественным сравнениям.
Проверь себя · 1/3разбор после ответа
Вы построили
confidence interval на confidence level 99% вместо 95% по тем же данным. Как изменится интервал и почему?Ещё вопросы по теме «Доверительные интервалы»
- Как корректно интерпретировать `95% confidence interval` для среднего чека, рассчитанный по выборке?
- Вы построили `confidence interval` на `confidence level` 99% вместо 95% по тем же данным. Как изменится интервал и почему?
- Что отражает величина `standard error` в контексте `confidence interval`?
- В отчёте указано: `margin of error` для доли равен 2 п.п. Что это значит для `confidence interval` вокруг оценки 40% при симметричном интервале?
- Что в статистике означает `покрытие` доверительных интервалов?
- Все вопросы по «Доверительные интервалы» →