Как в permutation test обычно оценивают p-value для наблюдаемой статистики?
AСчитают долю перестановок, где статистика не менее экстремальна, чем наблюдаемая, с учётом одно- или двусторонней альтернативы
BБерут среднее значение тестовой статистики по всем перестановкам и сравнивают его с наблюдаемой статистикой исходных данных
CСравнивают наблюдённый
p-value с порогом 0.05 без построения распределения статистики через перестановки меток группDДелят разницу средних между группами на стандартное отклонение исходных данных и трактуют результат как
p-valueПравильный ответ. В
permutation test p-value — это доля перестановок, дающих статистику не менее экстремальную, чем наблюдаемая.Разбор
Мы фиксируем исходные данные и многократно переставляем метки групп, получая распределение статистики при H0. Далее сравниваем наблюдаемую статистику с этим распределением и считаем долю перестановок, где значение столь же экстремально. Важно заранее выбрать односторонний или двусторонний критерий, иначе легко ошибиться в интерпретации результата.
Проверь себя · 1/3разбор после ответа
Какое допущение является ключевым для корректности перестановочного теста (permutation test) при проверке нулевой гипотезы в A/B-сценарии?
Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе перестановочного теста при проверке нулевой гипотезы об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является эмпирическим распределением разницы средних?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Какое утверждение про ограничения метода `bootstrap` наиболее корректно?
- Все вопросы по «Бутстреп и перестановочные тесты» →