У каждого пользователя много событий, и события внутри пользователя коррелированы. Вы хотите оценить неопределённость метрики на уровне пользователя через bootstrap. Что корректнее пересэмплировать?
AОтдельные события как независимые наблюдения, не учитывая принадлежность пользователю, чтобы выборка была максимально большой
BТолько дневные средние значения метрики, игнорируя индивидуальных пользователей и тем самым снижая вычислительную сложность
bootstrapCПользователей целиком в кластерном
bootstrap, сохраняя все их события внутри каждой реплики выборки и зависимость событийDТолько те события, где значение метрики выше медианы, чтобы фокусироваться на «активных» наблюдениях и стабилизировать оценку
Правильный ответ. При зависимости внутри пользователя лучше делать кластерный
bootstrap по пользователям.Разбор
Если пересэмплировать отдельные события, вы будете считать их независимыми и обычно занизите дисперсию. Кластерный bootstrap сохраняет структуру данных внутри пользователя и корректнее отражает неопределённость на нужной единице наблюдения. Типичная ошибка — смешать уровни агрегации и получить слишком узкие интервалы.
Проверь себя · 1/3разбор после ответа
Почему в
bootstrap обычно пересэмплируют наблюдения именно с возвращением, а не без?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе перестановочного теста при проверке нулевой гипотезы об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является эмпирическим распределением разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Все вопросы по «Бутстреп и перестановочные тесты» →