Вы сравниваете ARPU, но видите редкие очень крупные покупки и сильные выбросы; в каждом варианте около 10 тысяч пользователей. Что разумнее выбрать в первую очередь?
AПрименить обычный
t-test по ARPU без проверки распределения, считая, что он надёжен для любых хвостов и выбросовBИспользовать бутстрэп по пользователям и построить доверительный интервал для разницы средних ARPU между вариантами
CПрименить дельта-метод для ratio-метрик без диагностики, считая его всегда более точным, чем бутстрэп при тяжёлых хвостах
DСравнивать только долю платящих через
z-test, полностью игнорируя размер покупок и сами выбросы в ARPUПравильный ответ. При тяжёлых хвостах и выбросах в ARPU бутстрэп часто предпочтительнее параметрических приближений.
Разбор
Выбросы делают распределение среднего сильно несимметричным, и нормальная аппроксимация может работать плохо. Бутстрэп позволяет эмпирически оценить неопределённость и построить доверительный интервал для разницы вариантов, не опираясь на нормальность. Дельта-метод полезен, но без диагностики его нельзя считать заведомо лучше, а t-test без проверки хвостов рискует дать заниженный p-value. Дополнительно полезно смотреть на компоненты: долю платящих и средний чек среди платящих, чтобы понять источник эффекта.
Проверь себя · 1/3разбор после ответа
В A/B тесте вы сравниваете ARPU: большинство пользователей дают 0, но иногда бывают очень крупные покупки; выборка умеренная. Какой подход чаще всего более надёжен для p-value и доверительного интервала?
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →