В permutation test для разницы метрики между группами A и B что нужно сохранять при перестановках?
AЗначения метрики нужно менять, а метки оставлять фиксированными
BНужно сохранять общий набор наблюдений и размеры групп, случайно переназначая метки A/B наблюдениям
CНужно сохранять среднее каждой группы неизменным в каждой перестановке
DНужно переставлять наблюдения только внутри каждой группы, не меняя метки
Правильный ответ. В перестановочном тесте мы фиксируем данные и переставляем метки, сохраняя размеры групп.
Разбор
Логика permutation test — смоделировать, какие значения статистики возможны при H0, если метки групп не несут информации. Поэтому мы объединяем наблюдения, перемешиваем метки и заново делим на группы тех же размеров. Типичная ошибка — пересэмплировать с возвращением и получить уже другой тест, ближе к bootstrap.
Проверь себя · 1/3разбор после ответа
В классическом
bootstrap какой размер обычно имеет каждая пересэмплированная выборка относительно исходной выборки размера n?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе `permutation test` при проверке `H0` об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является `эмпирическое распределение` разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, `revenue per user`). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Все вопросы по «Бутстреп и перестановочные тесты» →