Почему анализ ratio metric вроде CTR часто нельзя делать как «обычный средний показатель» без оговорок?
A
CTR всегда нормально распределен, поэтому любые методы дадут один ответBУ
ratio metric нет дисперсии, поэтому статистика не нужнаC
CTR не зависит от показов, поэтому знаменатель можно игнорироватьDЗнаменатель может меняться и быть связан с эффектом, из-за чего меняются и оценка, и стандартная ошибка
Правильный ответ.
ratio metric зависит от вариативности и возможного изменения знаменателя, что влияет на оценку эффекта и неопределенность.Разбор
Если вариант влияет на количество показов, то CTR может вырасти даже при неизменных кликах, просто из-за снижения знаменателя. Кроме того, у пользователей разные знаменатели, и наивное усреднение долей может исказить вклад наблюдений. Поэтому часто применяют delta method (дельта-метод для ratio-метрик) или bootstrap, чтобы корректно оценить дисперсию и доверительный интервал.
Проверь себя · 1/3разбор после ответа
Почему анализ
ratio metric вроде CTR часто нельзя делать как «обычный средний показатель» без оговорок?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Вы посчитали пользовательские доли clicks / impressions и хотите получить групповой `CTR`. Что нужно сделать, чтобы итог совпал с суммарными clicks / суммарными impressions?
- Все вопросы по «Ratio-метрики и бутстреп» →