В A/B тесте вы сравниваете ARPU: большинство пользователей дают 0, но иногда бывают очень крупные покупки; выборка умеренная. Какой подход чаще всего более надежен для p-value и confidence interval?

AИспользовать только delta method (дельта-метод для ratio-метрик) без проверок распределения
BСделать bootstrap на уровне пользователей и оценить распределение разницы
CПрименить z-test для долей, игнорируя величину покупок
DСравнить медианы через t-test
Правильный ответ. Для сильно скошенных метрик типа ARPU bootstrap часто дает более устойчивую оценку неопределенности, чем линейные приближения.

Разбор

При тяжелых хвостах среднее может быть нестабильным, а асимптотическая нормальность наступает медленно. bootstrap учитывает реальную форму распределения и влияние редких крупных чеков, если вы ресэмплируете пользователей как единицы рандомизации. При этом важно корректно задавать число итераций и контролировать воспроизводимость.

Проверь себя · 1/3разбор после ответа
Когда delta method (дельта-метод для ratio-метрик) обычно дает приемлемое приближение для разницы в CTR?
Тренировать A/B в Telegram

Ещё вопросы по теме «Ratio-метрики и бутстреп»