Метрика ARPU = sum(revenue)/count(users), у пользователя может быть несколько покупок. Вы хотите оценить разницу ARPU между A и B через bootstrap. Какой ресэмплинг наиболее корректен?

AПересэмплировать транзакции как независимые наблюдения, игнорируя структуру по пользователям
BПересэмплировать sum(revenue) отдельно от count(users) и делить эти величины между собой
CПересэмплировать пользователей целиком вместе с их выручкой и считать ARPU в каждой реплике
DПеремешать выручку случайно между пользователями и считать получившуюся процедуру bootstrap
Правильный ответ. В bootstrap важно пересэмплировать на уровне той единицы наблюдения, которая определяет метрику.

Разбор

Если метрика определена на уровне пользователя, пересэмплировать нужно пользователей, а не отдельные транзакции, иначе вы нарушите структуру зависимости и занизите дисперсию оценок. Пересэмплирование числителя и знаменателя по отдельности ломает их связь и даёт некорректные доверительные интервалы. Перемешивание выручки между пользователями — это вообще не bootstrap, а пермутационная процедура для другой задачи. Типичная ошибка — считать, что любые повторные выборки подойдут, хотя уровень ресэмплинга принципиален для ratio-метрик.

Проверь себя · 1/3разбор после ответа
В перестановочном тесте вы сделали 1000 перестановок и в 23 из них статистика была не менее экстремальной, чем наблюдаемая. Какая оценка p-value наиболее подходит в этом описании?
Тренировать статистику в Telegram

Ещё вопросы по теме «Бутстреп и перестановочные тесты»