Вы сравниваете две версии продукта, но группы сформированы не случайно: версия A только в одном регионе, версия B только в другом. Команда хочет применить перестановочный тест, переставляя метки. Что корректнее всего сказать?
AБез обменяемости меток перестановки не моделируют
H0, тест может быть некорректен; bootstrap даст лишь интервал для разницыBПерестановочный тест корректен и в наблюдательном дизайне: перестановки заменяют рандомизацию даже при сильном дисбалансе групп
CДостаточно сделать больше перестановок и увеличить выборку: тогда смешивание регионального и продуктового эффектов исчезнет
DДостаточно применить
bootstrap поверх средних в группах: после этого вывод о причинной разнице между версиями становится валиднымПравильный ответ. Без обменяемости меток перестановки не отражают
H0, поэтому перестановочный тест может дать некорректный p-value.Разбор
В наблюдательном дизайне метка версии связана с регионом, а регион может влиять на метрику, поэтому простая перестановка меток нарушает структуру данных и нарушает обменяемость. Bootstrap в таком случае может оценить неопределённость наблюдаемой разницы, но не делает вывод причинным. Для причинного вывода нужен дизайн с рандомизацией или явный контроль факторов, иначе легко принять региональный эффект за эффект фичи.
Проверь себя · 1/3разбор после ответа
В перестановочном тесте вы сделали 1000 перестановок и в 23 из них статистика была не менее экстремальной, чем наблюдаемая. Какая оценка
p-value наиболее подходит в этом описании?Ещё вопросы по теме «Бутстреп и перестановочные тесты»
- Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
- Какая ключевая идея лежит в основе перестановочного теста при проверке нулевой гипотезы об отсутствии разницы между группами?
- Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является эмпирическим распределением разницы средних?
- Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
- Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
- Все вопросы по «Бутстреп и перестановочные тесты» →