В каком случае применение delta method (дельта-метод для ratio-метрик) наиболее рискованно и может дать неверную оценку неопределенности?
AКогда выборка очень большая и знаменатель почти не меняется
BКогда знаменатель может быть очень малым или нулевым, делая отношение нестабильным
CКогда вы используете одинаковые пороги фильтрации в обоих вариантах
DКогда метрика считается на фиксированном окне времени
Правильный ответ.
delta method (дельта-метод для ratio-метрик) плохо переносит нестабильный или близкий к нулю знаменатель и сильную нелинейность эффекта.Разбор
При малых знаменателях небольшое изменение числителя сильно меняет отношение, и линейное приближение перестает описывать реальность. Похожая проблема возникает при тяжелых хвостах и выбросах, что часто встречается в ARPU. В таких условиях полезнее применять bootstrap или предварительно менять постановку метрики и единицу агрегации.
Проверь себя · 1/3разбор после ответа
Вы посчитали пользовательские доли clicks / impressions и хотите получить групповой
CTR. Что нужно сделать, чтобы итог совпал с суммарными clicks / суммарными impressions?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Почему анализ `ratio metric` вроде `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →