Вы сделали линеаризацию ratio metric на уровне пользователя с помощью delta method (дельта-метод для ratio-метрик). Какой следующий шаг чаще всего используют для сравнения вариантов?
AСчитать, что статистический тест больше не нужен, потому что после линеаризации
ratio metric стала линейной функциейBПрименить
t-test к линеаризованным пользовательским значениям и построить доверительный интервал для разницы среднихCВернуться к простому среднему пользовательских долей без весов и сравнить варианты обычным
z-test без поправокDБутстрапить отдельно числитель и знаменатель
ratio metric, как независимые выборки, и сравнить варианты по p-valueПравильный ответ. После линеаризации
ratio metric обычно сравнивают варианты как разницу средних, например через t-test.Разбор
Линеаризация превращает сложное отношение в сумму вкладов по пользователям, что делает задачу похожей на сравнение средних. Дальше можно применять t-test (часто Welch t-test, если дисперсии отличаются) и построить доверительный интервал. Важно, чтобы единица анализа соответствовала единице рандомизации.
Проверь себя · 1/3разбор после ответа
В варианте B стало больше трафика из сегмента с низким базовым CTR, хотя внутри каждого сегмента B чуть улучшает кликабельность. Что может произойти, если сравнить общий CTR без учёта сегментов?
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →