Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
AСчитать данные нормальными по умолчанию и применять стандартные формулы, игнорируя форму распределения и тяжёлые хвосты в выручке на пользователя
BПрименять только перестановочный тест, потому что доверительные интервалы для метрики такого типа на практике не нужны и плохо интерпретируются
CИспользовать
bootstrap: построить эмпирическое распределение статистики из данных через ресэмплинг и оценить стандартную ошибку и доверительный интервалDУвеличить уровень значимости
alpha, чтобы быстрее получать значимый результат и не возиться с оценкой неопределённости при тяжёлых хвостах распределенияПравильный ответ.
Bootstrap полезен, когда формулы для ошибки и интервала неочевидны, а метрика сложная.Разбор
Идея bootstrap — получить эмпирическое распределение статистики напрямую из данных через ресэмплинг с возвращением. Это позволяет оценивать стандартную ошибку и строить доверительные интервалы для сложных метрик. Типичная ошибка — думать, что bootstrap исправляет качество данных; он оценивает неопределённость относительно текущей выборки.
Проверь себя · 1/3разбор после ответа
Что делает
bootstrap на одном шаге, чтобы получить одну реплику статистики?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе перестановочного теста при проверке нулевой гипотезы об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является эмпирическим распределением разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Какое утверждение про ограничения метода `bootstrap` наиболее корректно?
- Все вопросы по «Бутстреп и перестановочные тесты» →