Метрика имеет тяжёлые хвосты и сложную формулу (например, revenue per user). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
AВсегда считать, что данные нормальные, и игнорировать форму распределения
BИспользовать
bootstrap, построив эмпирическое распределение статистики из данныхCИспользовать только
permutation test, потому что интервалы не нужныDУвеличить
alpha, чтобы быстрее получать значимостьПравильный ответ.
Bootstrap полезен, когда формулы для ошибки и интервала неочевидны, а метрика сложная.Разбор
Идея bootstrap — получить эмпирическое распределение статистики напрямую из данных через ресэмплинг. Это позволяет оценивать стандартную ошибку и строить доверительные интервалы для сложных метрик. Типичная ошибка — думать, что bootstrap исправляет качество данных; он оценивает неопределённость относительно текущей выборки.
Проверь себя · 1/3разбор после ответа
Метрика имеет тяжёлые хвосты и сложную формулу (например,
revenue per user). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе `permutation test` при проверке `H0` об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является `эмпирическое распределение` разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Какое утверждение про ограничения `bootstrap` наиболее корректно?
- Все вопросы по «Бутстреп и перестановочные тесты» →