Почему анализ доли вида CTR часто нельзя делать как «обычный средний показатель» без оговорок?
AЗнаменатель показов может меняться и быть связан с эффектом, из-за чего смещаются и точечная оценка
CTR, и её стандартная ошибка.B
CTR всегда нормально распределён по построению, поэтому любые методы анализа долей дают одинаковый ответ независимо от выборки и дисперсии.CУ долей вида
CTR нет дисперсии, поэтому стандартная статистика для тестов и доверительных интервалов в принципе не нужна на практике.D
CTR не зависит от числа показов в группе, поэтому знаменатель можно безопасно игнорировать при сравнении вариантов и оценке стандартной ошибки.Правильный ответ. Доля
CTR зависит от вариативности и возможного изменения знаменателя, что влияет и на оценку эффекта, и на её неопределённость.Разбор
Если вариант влияет на количество показов, то CTR может вырасти даже при неизменных кликах, просто из-за снижения знаменателя. Кроме того, у пользователей разные знаменатели, и наивное усреднение долей может исказить вклад наблюдений. Поэтому часто применяют дельта-метод для долей или bootstrap, чтобы корректно оценить дисперсию и доверительный интервал. Утверждения о нормальности CTR по построению или о независимости от показов на практике неверны.
Проверь себя · 1/3разбор после ответа
В чём основная идея дельта-метода при оценке разницы метрик-отношений между вариантами?
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Вы посчитали пользовательские доли клики/показы и хотите получить групповой `CTR`. Что нужно сделать, чтобы итог совпал с суммарными кликами по сумме показов?
- Все вопросы по «Ratio-метрики и бутстреп» →