В A/B тесте вы сравниваете ARPU: большинство пользователей дают 0, но иногда бывают очень крупные покупки; выборка умеренная. Какой подход чаще всего более надёжен для p-value и доверительного интервала?
AСделать
bootstrap на уровне пользователей и оценить распределение разницы между группамиBИспользовать только дельта-метод для ratio-метрик без проверки формы распределения хвостов
CПрименить
z-test для долей и игнорировать величину покупок, оставив только факт покупкиDСравнить медианы через
t-test и считать это устойчивым к выбросам приближениемПравильный ответ. Для сильно скошенных метрик типа ARPU
bootstrap часто даёт более устойчивую оценку неопределённости, чем линейные приближения.Разбор
При тяжёлых хвостах среднее нестабильно, а асимптотическая нормальность наступает медленно. bootstrap учитывает реальную форму распределения и влияние редких крупных чеков, если ресэмплировать пользователей как единицы рандомизации. Дельта-метод и z-test для долей опираются на предположения, которые при таких данных могут не выполняться.
Проверь себя · 1/3разбор после ответа
Какая из метрик является метрикой-отношением (
ratio metric)?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →