В варианте B стало больше трафика из сегмента с низким базовым CTR, хотя внутри каждого сегмента B чуть улучшает кликабельность. Что может произойти, если сравнить общий CTR без учета сегментов?
AОбщий эффект обязательно станет больше, потому что B улучшает внутри сегментов
BЭффект всегда останется тем же, потому что
CTR не зависит от составаC
delta method (дельта-метод для ratio-метрик) автоматически исправит смещение без стратификацииDМожно увидеть мнимое падение или рост общего
CTR из-за изменения состава сегментовПравильный ответ. Общий результат по
ratio metric может меняться из-за эффекта состава, даже если внутри сегментов картина другая.Разбор
Если доли сегментов отличаются между вариантами, общий CTR становится смесью с разными весами. Тогда возможна ситуация, когда внутри каждого сегмента B лучше, но общий CTR хуже, и наоборот. Это решают стратификацией, корректным взвешиванием или анализом по сегментам перед выводами.
Проверь себя · 1/3разбор после ответа
Вы сделали линеаризацию
ratio metric на уровне пользователя с помощью delta method (дельта-метод для ratio-метрик). Какой следующий шаг чаще всего используют для сравнения вариантов?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Почему анализ `ratio metric` вроде `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →