Вы измеряете CTR по кликам и показам, но считаете каждый показ независимым, хотя у одного пользователя их много. Какой эффект это чаще всего даёт на confidence interval и покрытие?

AИнтервал станет шире, потому что событий больше.
BИнтервал станет слишком узким из-за заниженного standard error, и покрытие упадёт.
CНичего не изменится: зависимость не влияет на standard error.
DИнтервал станет шире только потому, что изменится confidence level.
Правильный ответ. Зависимые наблюдения уменьшают эффективный n, поэтому наивный standard error получается заниженным.

Разбор

Если вы берёте много событий от одного пользователя, наблюдения внутри пользователя коррелированы. Наивная формула считает их независимыми и занижает standard error, делая confidence interval слишком узким. В результате фактическое покрытие падает, и вы чаще «находите эффекты», которых нет.

Проверь себя · 1/3разбор после ответа
Что в статистике означает покрытие доверительных интервалов?
Тренировать статистику в Telegram

Ещё вопросы по теме «Доверительные интервалы»