Какое допущение является ключевым для корректности перестановочного теста (permutation test) при проверке нулевой гипотезы в A/B-сценарии?
AМетрика обязательно должна иметь нормальное распределение в каждой из групп эксперимента
BВ каждой группе должно быть не меньше 30 наблюдений, иначе тест неприменим
CДанные должны быть очищены от выбросов и иметь одинаковую дисперсию между группами
DПри нулевой гипотезе наблюдения обменяемы между группами: метки можно переставлять без изменения распределения
Правильный ответ. Перестановочный тест опирается на обменяемость меток при истинной нулевой гипотезе.
Разбор
Если группы сформированы случайно, то при истинной нулевой гипотезе различие меток не должно иметь значения, и перестановки воспроизводят нулевое распределение статистики. Если же метки связаны с составом аудитории или временем, обменяемость нарушается, и p-value может стать некорректным. Типичная ошибка — применять перестановочный тест к наблюдательным данным без обсуждения предпосылок.
Проверь себя · 1/3разбор после ответа
Что делает
bootstrap на одном шаге, чтобы получить одну реплику статистики?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе перестановочного теста при проверке нулевой гипотезы об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является эмпирическим распределением разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Все вопросы по «Бутстреп и перестановочные тесты» →