Бутстреп и перестановочные тесты: вопросы для собеседования (часть 2)
Бутстреп позволяет оценить распределение статистики без параметрических предпосылок — просто перевыборкой с возвращением. Перестановочные тесты проверяют гипотезы без предположений о распределении данных. На собеседовании просят объяснить алгоритм бутстрепа, когда он предпочтительнее аналитических методов и в чём его ограничения.
Вопросы 6–10 из 20
6Почему в `bootstrap` обычно пересэмплируют наблюдения именно с возвращением, а не без?
AЧтобы каждое наблюдение попадало в каждую реплику ровно один раз и не нарушался состав выборки
BЧтобы полностью разрушить любые зависимости между наблюдениями и сделать данные независимыми
CЧтобы имитировать повторные выборки из неизвестной популяции, считая выборку её приближением
DЧтобы гарантированно получить меньшую дисперсию статистики, чем у исходной выборочной оценки
Ответ: `Bootstrap` рассматривает выборку как приближение популяции и делает пересэмплирование с возвращением.
С возвращением одно и то же наблюдение может появляться в реплике несколько раз, а какие-то наблюдения не появятся вовсе, что и создаёт вариативность статистики. Это похоже на идею повторных выборок из большой популяции, которую мы не видим напрямую. Типичная ошибка — пересэмплировать без возвращения и получать почти ту же выборку, из-за чего неопределённость будет занижена. Гарантированного снижения дисперсии `bootstrap` не даёт — он только оценивает её честнее.
Подробный разбор → 7В классическом `bootstrap` какой размер обычно имеет каждая пересэмплированная выборка относительно исходной выборки размера `n`?
AТот же размер `n`, что и у исходной выборки, но с возможными повторами наблюдений внутри одной реплики
BВ два раза больше `n`, чтобы искусственно снизить дисперсию оценки и сузить итоговый доверительный интервал
CНа один меньше `n`: каждая реплика имитирует схему `leave-one-out` и даёт оценку смещения через перекрёстную проверку
DСлучайный размер в каждом повторе: в среднем по итерациям охват пространства выборок становится более равномерным
Ответ: Обычно каждая `bootstrap`-выборка имеет размер `n` и содержит повторы наблюдений.
Классический бутстрэп-ресэмплинг — это сэмплирование с возвращением размера `n` (того же, что у исходной выборки). Часть наблюдений в реплике повторяется, часть не попадает совсем. Размер `n` сохраняется, чтобы дисперсия статистики на бутстрэп-выборке имитировала её дисперсию на реальной выборке такого же объёма. Удвоение `n` искусственно занижает дисперсию и не имеет статистического обоснования. `n - 1` — это `jackknife` (`leave-one-out`), отдельный метод. Случайный размер в каждом повторе разрушает основное свойство ресэмплинга.
Подробный разбор → 8Если `bootstrap`-распределение статистики заметно асимметрично, какой способ построения доверительного интервала чаще оказывается более уместным?
AИнтервал вида estimate ± 1.96·SE без учёта формы распределения, чтобы получить простую и быструю оценку границ
BСчитать только одно число (точечную оценку) и отказаться от интервалов, потому что асимметрия делает их некорректными
CЗаменить интервал на перестановочный тест, потому что строить интервалы при асимметрии формально невозможно
DПроцентильный интервал по квантилям эмпирического распределения `bootstrap`-реплик статистики
Ответ: Процентильный интервал использует форму эмпирического распределения, а не предположение симметрии.
При сильной асимметрии интервал estimate ± 1.96·SE может быть плохо калиброван и давать неинтуитивные границы. Процентильный интервал берёт квантили из `bootstrap`-реплик и лучше отражает форму распределения статистики. Перестановочный тест и интервал — это разные инструменты: тест проверяет гипотезу, а не строит границы. Отказ от интервала ради точечной оценки прячет реальную неопределённость.
Подробный разбор → 9Вы увеличили число повторов `bootstrap` с 500 до 10000. Что изменится в первую очередь?
AОценка стандартной ошибки и доверительных интервалов станет стабильнее за счёт меньшего шума симуляции, но новой информации о данных не появится.
BИстинная неопределённость заметно уменьшится, потому что выборка эффективно стала больше за счёт повторов и пересчётов статистики.
CВыборка станет ближе к генеральной совокупности благодаря большему числу повторов и снизит смещение оценок параметров распределения.
DСистематическое смещение исчезнет автоматически, потому что повторное переусреднение по ресемплам устраняет любые искажения данных.
Ответ: Больше повторов снижает шум симуляции, но не заменяет увеличение данных.
Число повторов влияет на точность оценки квантилей и стандартной ошибки как результата симуляции: больше повторов — меньше случайного шума вычисления. Но сами данные не меняются, поэтому истинная неопределённость и возможное смещение остаются теми же. Типичная ошибка — путать увеличение числа повторов с ростом размера выборки `n`.
Подробный разбор → 10В перестановочном тесте для разницы метрики между группами A и B что нужно сохранять при перестановках, чтобы тест был корректным?
AЗначения метрики нужно случайно изменять, а метки групп оставлять зафиксированными как в исходных данных
BНужно сохранять общий набор наблюдений и размеры групп, случайно переназначая метки A/B наблюдениям
CНужно сохранять среднее каждой группы неизменным в каждой перестановке, переставляя только остаточные значения
DНужно переставлять наблюдения только внутри каждой группы, не трогая метки групп между наблюдениями
Ответ: В перестановочном тесте мы фиксируем данные и переставляем метки групп, сохраняя их размеры.
Логика перестановочного теста — смоделировать, какие значения статистики возможны при `H0`, если метки групп не несут информации. Поэтому мы объединяем наблюдения, перемешиваем метки и заново делим на группы тех же размеров. Типичная ошибка — пересэмплировать с возвращением и получить уже другой тест, ближе к `bootstrap`.
Подробный разбор →