Метрика ARPU = sum(revenue)/count(users), у пользователя может быть несколько покупок. Вы хотите оценить разницу ARPU между A и B через bootstrap. Какой ресэмплинг наиболее корректен?
AПересэмплировать транзакции как независимые наблюдения, игнорируя структуру по пользователям
BПересэмплировать
sum(revenue) отдельно от count(users) и делить эти величины между собойCПересэмплировать пользователей целиком вместе с их выручкой и считать
ARPU в каждой репликеDПеремешать выручку случайно между пользователями и считать получившуюся процедуру
bootstrapПравильный ответ. В
bootstrap важно пересэмплировать на уровне той единицы наблюдения, которая определяет метрику.Разбор
Если метрика определена на уровне пользователя, пересэмплировать нужно пользователей, а не отдельные транзакции, иначе вы нарушите структуру зависимости и занизите дисперсию оценок. Пересэмплирование числителя и знаменателя по отдельности ломает их связь и даёт некорректные доверительные интервалы. Перемешивание выручки между пользователями — это вообще не bootstrap, а пермутационная процедура для другой задачи. Типичная ошибка — считать, что любые повторные выборки подойдут, хотя уровень ресэмплинга принципиален для ratio-метрик.
Проверь себя · 1/3разбор после ответа
В перестановочном тесте вы сделали 1000 перестановок и в 23 из них статистика была не менее экстремальной, чем наблюдаемая. Какая оценка
p-value наиболее подходит в этом описании?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе перестановочного теста при проверке нулевой гипотезы об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является эмпирическим распределением разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Все вопросы по «Бутстреп и перестановочные тесты» →