Вы измеряете CTR по кликам и показам, но считаете каждый показ независимым, хотя у одного пользователя их много. Какой эффект это чаще всего даёт на доверительный интервал и его покрытие?
AДоверительный интервал станет шире, потому что число событий растёт и оценка автоматически становится консервативнее
BНичего не изменится: зависимость наблюдений не влияет на стандартную ошибку и фактическое покрытие интервала
CДоверительный интервал станет шире только потому, что изменится уровень доверия и формула пересчёта
DСтандартная ошибка окажется заниженной, интервал будет слишком узким, и фактическое покрытие упадёт ниже заявленного
Правильный ответ. Зависимые наблюдения уменьшают эффективный размер выборки, поэтому наивная стандартная ошибка получается заниженной.
Разбор
Если вы берёте много событий от одного пользователя, наблюдения внутри пользователя коррелированы. Наивная формула считает их независимыми и занижает стандартную ошибку, делая доверительный интервал слишком узким. В результате фактическое покрытие падает ниже заявленного уровня, и вы чаще «находите эффекты», которых нет на самом деле.
Проверь себя · 1/3разбор после ответа
Вы построили 95% доверительные интервалы для эффекта в 20 сегментах и выбрали один сегмент, где интервал не включает 0, чтобы рассказать о «победе». Что корректно сказать про такую интерпретацию?
Ещё вопросы по теме «Доверительные интервалы»
- Как корректно интерпретировать 95-процентный доверительный интервал для среднего чека, рассчитанный по выборке?
- Вы построили доверительный интервал на уровне доверия 99% вместо 95% по тем же данным. Как изменится интервал и почему?
- Что отражает величина стандартной ошибки в контексте доверительного интервала?
- В отчёте указано: предел погрешности (`margin of error`) для доли равен 2 п.п. Что это значит для доверительного интервала вокруг оценки 40% при симметричном интервале?
- Что в статистике означает покрытие доверительных интервалов?
- Все вопросы по «Доверительные интервалы» →