Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?

AСчитать данные нормальными по умолчанию и применять стандартные формулы, игнорируя форму распределения и тяжёлые хвосты в выручке на пользователя
BПрименять только перестановочный тест, потому что доверительные интервалы для метрики такого типа на практике не нужны и плохо интерпретируются
CИспользовать bootstrap: построить эмпирическое распределение статистики из данных через ресэмплинг и оценить стандартную ошибку и доверительный интервал
DУвеличить уровень значимости alpha, чтобы быстрее получать значимый результат и не возиться с оценкой неопределённости при тяжёлых хвостах распределения
Правильный ответ. Bootstrap полезен, когда формулы для ошибки и интервала неочевидны, а метрика сложная.

Разбор

Идея bootstrap — получить эмпирическое распределение статистики напрямую из данных через ресэмплинг с возвращением. Это позволяет оценивать стандартную ошибку и строить доверительные интервалы для сложных метрик. Типичная ошибка — думать, что bootstrap исправляет качество данных; он оценивает неопределённость относительно текущей выборки.

Можно заниматься бесплатно

Готовим вопросы…

Три вопроса по теме этой страницы, с объяснениями.

Тренировать статистику в браузере

Ещё вопросы по теме «Бутстреп и перестановочные тесты»