Какая ошибка в bootstrap чаще всего приводит к некорректной оценке дисперсии для CTR?
AПересчитывать
CTR в каждой реплике как отношение суммарных кликов к суммарным показамBРесэмплировать пользователей с возвращением в каждом варианте
CРесэмплировать числитель и знаменатель отдельно, как независимые выборки
DФиксировать seed для воспроизводимости вычислений
Правильный ответ. Нельзя бутстрапить числитель и знаменатель отдельно, если они статистически зависимы.
Разбор
Клики и показы обычно связаны: больше показов часто означает больше возможностей для кликов. Если бутстрапить их независимо, вы разрушаете зависимость и можете занизить дисперсию эффекта. Правильнее ресэмплировать исходные наблюдения на уровне единицы рандомизации и пересчитывать ratio metric целиком.
Проверь себя · 1/3разбор после ответа
Почему анализ
ratio metric вроде CTR часто нельзя делать как «обычный средний показатель» без оговорок?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Почему анализ `ratio metric` вроде `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →