Как в permutation test обычно оценивают p-value для наблюдаемой статистики?
AБерут среднее значение статистики по перестановкам
BСравнивают
p-value с 0.05 без перестановокCДелят разницу средних на стандартное отклонение исходных данных
DСчитают долю перестановок, где статистика не менее экстремальна, чем наблюдаемая (с учётом односторонности/двусторонности)
Правильный ответ. В
permutation test p-value — это доля перестановок, дающих статистику не менее экстремальную, чем наблюдаемая.Разбор
Мы фиксируем исходные данные и многократно переставляем метки групп, получая распределение статистики при H0. Далее сравниваем наблюдаемую статистику с этим распределением и считаем долю перестановок, где значение столь же экстремально. Важно заранее выбрать односторонний или двусторонний критерий, иначе легко ошибиться в интерпретации.
Проверь себя · 1/3разбор после ответа
Если
bootstrap-распределение статистики заметно асимметрично, какой способ построения интервала чаще более уместен?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе `permutation test` при проверке `H0` об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является `эмпирическое распределение` разницы средних?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, `revenue per user`). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Какое утверждение про ограничения `bootstrap` наиболее корректно?
- Все вопросы по «Бутстреп и перестановочные тесты» →