Вы сравниваете две версии продукта, но группы сформированы не рандомно: версия A только в одном регионе, версия B только в другом. Команда хочет применить permutation test, переставляя метки. Что корректнее всего сказать?

APermutation test всегда корректен, потому что перестановки заменяют рандомизацию
BНужно просто сделать больше перестановок, и проблема исчезнет
CДостаточно применить bootstrap, и тогда причинный вывод станет корректным
DБез обменяемости меток перестановки не моделируют H0; permutation test может быть некорректен, а bootstrap даст лишь интервал для разницы в этих данных, но не уберёт confounding
Правильный ответ. Без обменяемости меток перестановки не отражают H0, поэтому permutation test может дать некорректный p-value.

Разбор

В наблюдательном дизайне метка версии связана с регионом, а регион может влиять на метрику, поэтому простая перестановка меток нарушает структуру данных. Bootstrap в таком случае может оценить неопределённость наблюдаемой разницы, но не делает вывод причинным. Для причинного вывода нужен дизайн с рандомизацией или явный контроль факторов, иначе легко принять региональный эффект за эффект фичи.

Проверь себя · 1/3разбор после ответа
У каждого пользователя много событий, и события внутри пользователя коррелированы. Вы хотите оценить неопределённость метрики на уровне пользователя через bootstrap. Что корректнее пересэмплировать?
Тренировать статистику в Telegram

Ещё вопросы по теме «Бутстреп и перестановочные тесты»