Вы сделали линеаризацию ratio metric на уровне пользователя с помощью delta method (дельта-метод для ratio-метрик). Какой следующий шаг чаще всего используют для сравнения вариантов?
AПрименить
t-test к линеаризованным пользовательским значениямBСчитать, что статистика больше не нужна, потому что метрика стала линейной
CВернуться к простому среднему пользовательских долей без весов
DБутстрапить отдельно числитель и знаменатель, как независимые выборки
Правильный ответ. После линеаризации
ratio metric обычно сравнивают варианты как разницу средних, например через t-test.Разбор
Линеаризация превращает сложное отношение в сумму вкладов по пользователям, что делает задачу похожей на сравнение средних. Дальше можно применять t-test (часто Welch t-test, если дисперсии отличаются) и построить доверительный интервал. Важно, чтобы единица анализа соответствовала единице рандомизации.
Проверь себя · 1/3разбор после ответа
Вы сравниваете
ARPU, но видите редкие очень крупные покупки и сильные выбросы; в каждом варианте около 10 тысяч пользователей. Что разумнее выбрать в первую очередь?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Почему анализ `ratio metric` вроде `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →