Какое допущение является ключевым для корректности permutation test при проверке H0 в A/B-сценарии?
AМетрика должна иметь
normal distributionBНужно минимум 30 наблюдений в каждой группе
CДанные должны быть без выбросов и с одинаковой дисперсией
DПри
H0 наблюдения обменяемы между группами, то есть метки групп можно переставлять без изменения распределенияПравильный ответ.
Permutation test опирается на обменяемость меток при H0.Разбор
Если группы сформированы случайно, то при истинной H0 различие меток не должно иметь значения, и перестановки воспроизводят нулевое распределение статистики. Если же метки связаны с составом аудитории или временем, обменяемость нарушается, и p-value может стать некорректным. Типичная ошибка — применять permutation test к наблюдательным данным без обсуждения предпосылок.
Проверь себя · 1/3разбор после ответа
Какая ключевая идея лежит в основе
permutation test при проверке H0 об отсутствии разницы между группами?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе `permutation test` при проверке `H0` об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является `эмпирическое распределение` разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, `revenue per user`). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Все вопросы по «Бутстреп и перестановочные тесты» →