Когда delta method (дельта-метод для ratio-метрик) обычно дает приемлемое приближение для разницы в CTR?
AКогда выборка маленькая, но очень хочется быстрый ответ
BКогда у большого числа пользователей знаменатель равен нулю или почти нулю
CКогда распределение эффекта заведомо двухвершинное и сильно несимметричное
DКогда выборка большая и знаменатель достаточно «стабильный» и далеко от нуля
Правильный ответ.
delta method (дельта-метод для ratio-метрик) лучше работает при больших выборках и при отсутствии нестабильности знаменателя.Разбор
Линейное приближение становится точнее, когда выполнена асимптотика и нет «взрывов» отношения из-за малых знаменателей. Если у многих наблюдений знаменатель нулевой или очень маленький, ratio metric становится крайне шумной. Тогда приближение для стандартной ошибки может быть плохим, и стоит рассмотреть bootstrap.
Проверь себя · 1/3разбор после ответа
Вы считаете
ARPU в эксперименте; что является числителем и знаменателем этой метрики?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Почему анализ `ratio metric` вроде `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →