В A/B тесте вы сравниваете ARPU: большинство пользователей дают 0, но иногда бывают очень крупные покупки; выборка умеренная. Какой подход чаще всего более надежен для p-value и confidence interval?
AИспользовать только
delta method (дельта-метод для ratio-метрик) без проверок распределенияBСделать
bootstrap на уровне пользователей и оценить распределение разницыCПрименить
z-test для долей, игнорируя величину покупокDСравнить медианы через
t-testПравильный ответ. Для сильно скошенных метрик типа
ARPU bootstrap часто дает более устойчивую оценку неопределенности, чем линейные приближения.Разбор
При тяжелых хвостах среднее может быть нестабильным, а асимптотическая нормальность наступает медленно. bootstrap учитывает реальную форму распределения и влияние редких крупных чеков, если вы ресэмплируете пользователей как единицы рандомизации. При этом важно корректно задавать число итераций и контролировать воспроизводимость.
Проверь себя · 1/3разбор после ответа
Когда
delta method (дельта-метод для ratio-метрик) обычно дает приемлемое приближение для разницы в CTR?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Почему анализ `ratio metric` вроде `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →