Вопросы по теме «Бутстреп и перестановочные тесты»
Проверь себя · 1/3разбор после ответа
У вас есть эмпирическое распределение статистики из bootstrap-реплик. Что из него можно получить напрямую?
Бутстреп позволяет оценить распределение статистики без параметрических предпосылок — просто перевыборкой с возвращением. Перестановочные тесты проверяют гипотезы без предположений о распределении данных. На собеседовании просят объяснить алгоритм бутстрепа, когда он предпочтительнее аналитических методов и в чём его ограничения.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1У вас есть эмпирическое распределение статистики из `bootstrap`-реплик. Что из него можно получить напрямую?
AТочную численность всей популяции пользователей, из которой была получена исследуемая выборка
BИстинную причинную связь между изменением продукта и поведением исследуемой метрики на популяции
CСтандартную ошибку оценки и доверительный интервал по квантилям эмпирического распределения реплик
DГарантированно несмещённую оценку параметра для любой выборки независимо от её размера и состава
Ответ: Эмпирическое распределение статистики из `bootstrap` позволяет напрямую оценивать неопределённость самой оценки.
Стандартную ошибку можно оценить как стандартное отклонение `bootstrap`-реплик, а доверительные интервалы — как квантили (например, 2.5% и 97.5%). Это практичный способ, когда аналитические формулы неудобны или неприменимы. Типичная ошибка — пытаться трактовать `bootstrap` как инструмент причинности или способ исправить нерепрезентативность выборки.
2Что делает `bootstrap` на одном шаге, чтобы получить одну реплику статистики?
AБерёт выборку того же размера `n` с возвращением и пересчитывает статистику на этой новой выборке
BПеремешивает метки групп A и B как в `permutation test` и пересчитывает статистику на перемешанных данных
CДобавляет синтетические наблюдения сверх исходных `n`, чтобы искусственно увеличить размер выборки
DУдаляет выбросы по правилу `IQR` и пересчитывает среднее на оставшихся очищенных наблюдениях
Ответ: В `bootstrap` мы много раз пересэмплируем данные с возвращением и пересчитываем статистику.
Каждая `bootstrap`-реплика — это новая выборка размера `n`, собранная из исходных наблюдений с повторениями. Повторяя это много раз, мы получаем эмпирическое распределение статистики и можем оценивать неопределённость. Типичная ошибка — перепутать `bootstrap` с `permutation test`, где переставляют метки, а не пересэмплируют наблюдения.
3Какая ключевая идея лежит в основе перестановочного теста при проверке нулевой гипотезы об отсутствии разницы между группами?
AМногократно брать выборки из исходных данных с возвращением и строить интервал по разбросу полученных значений
BУдалять подозрительные выбросы из выборки и повторять тест на оставшихся данных до получения статистической значимости
CПереставлять метки групп между наблюдениями и смотреть, насколько часто статистика столь же экстремальна, как наблюдаемая
DСразу применять нормальное приближение к любой метрике независимо от размера выборки и формы распределения
Ответ: Перестановочный тест строит распределение статистики при нулевой гипотезе, переставляя метки групп между наблюдениями.
Если нулевая гипотеза верна, то метки групп не должны влиять на значения метрики, и наблюдения становятся обменяемыми. Мы многократно переставляем метки, пересчитываем статистику и получаем распределение при нулевой гипотезе. Затем оцениваем `p-value` как долю перестановок, где статистика не менее экстремальна, чем наблюдаемая. Это непараметрический подход, не требующий нормального приближения.
4Метрика имеет тяжёлые хвосты и сложную формулу (например, выручка на пользователя). Какой подход часто удобен, чтобы оценить неопределённость оценки без сложных выводов формул?
AСчитать данные нормальными по умолчанию и применять стандартные формулы, игнорируя форму распределения и тяжёлые хвосты в выручке на пользователя
BПрименять только перестановочный тест, потому что доверительные интервалы для метрики такого типа на практике не нужны и плохо интерпретируются
CИспользовать `bootstrap`: построить эмпирическое распределение статистики из данных через ресэмплинг и оценить стандартную ошибку и доверительный интервал
DУвеличить уровень значимости `alpha`, чтобы быстрее получать значимый результат и не возиться с оценкой неопределённости при тяжёлых хвостах распределения
Ответ: `Bootstrap` полезен, когда формулы для ошибки и интервала неочевидны, а метрика сложная.
Идея `bootstrap` — получить эмпирическое распределение статистики напрямую из данных через ресэмплинг с возвращением. Это позволяет оценивать стандартную ошибку и строить доверительные интервалы для сложных метрик. Типичная ошибка — думать, что `bootstrap` исправляет качество данных; он оценивает неопределённость относительно текущей выборки.
595-процентный `bootstrap` доверительный интервал для разницы метрики A−B включает ноль. Как корректнее всего это интерпретировать?
AЭто строго доказывает, что эффект равен нулю и варианты A и B полностью эквивалентны на популяции
BПо данным нет достаточно оснований утверждать отличия на уровне 0.05; эффект может быть как положительным, так и отрицательным
CДостаточно увеличить число `bootstrap` повторов, и тогда интервал гарантированно перестанет включать ноль на той же выборке
DЭто автоматически означает, что `permutation test` на тех же данных дал бы `p-value` строго меньше 0.05
Ответ: Если интервал для разницы включает ноль, данные совместимы с отсутствием эффекта, но это не доказательство его отсутствия.
Доверительный интервал отражает неопределённость оценки: при таких данных правдоподобны разные значения эффекта, включая ноль. Это не является доказательством, что эффекта нет, но говорит, что уверенно отделить эффект от нуля сложно. Типичная ошибка — трактовать включение нуля как окончательное опровержение гипотезы и игнорировать саму оценку эффекта и ширину интервала.