Вы посчитали пользовательские доли клики/показы и хотите получить групповой CTR. Что нужно сделать, чтобы итог совпал с суммарными кликами по сумме показов?
AВзять простое среднее пользовательского
CTR без учёта числа показов и считать это итогом для группыBВзять медиану пользовательского
CTR и использовать её как групповое значение для сравнения вариантов тестаCВыкинуть пользователей с нулевым числом показов и усреднить оставшиеся пользовательские
CTR арифметическиDПосчитать взвешенное среднее пользовательского
CTR с весами, равными числу показов у пользователяПравильный ответ. Взвешивание по знаменателю делает среднее долей эквивалентным отношению сумм для метрики-отношения.
Разбор
Пользователь с одним показом и пользователь с тысячей показов не должны влиять на общий CTR одинаково. Взвешивание по числу показов даёт каждому пользователю вклад пропорционально его знаменателю. В результате получается тот же групповой CTR, что и при прямом вычислении суммы кликов делённой на сумму показов.
Проверь себя · 1/3разбор после ответа
В каком случае применение дельта-метода для метрик-отношений наиболее рискованно и может дать неверную оценку неопределённости?
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →