Бутстреп и перестановочные тесты: вопросы для собеседования (часть 3)
Бутстреп позволяет оценить распределение статистики без параметрических предпосылок — просто перевыборкой с возвращением. Перестановочные тесты проверяют гипотезы без предположений о распределении данных. На собеседовании просят объяснить алгоритм бутстрепа, когда он предпочтительнее аналитических методов и в чём его ограничения.
Вопросы 11–15 из 20
11В отчёте вам нужно: (a) 95% интервал для медианы времени доставки, (b) `p-value` для гипотезы, что две группы одинаковы по среднему времени доставки. Какое сочетание методов наиболее уместно?
A(a) перестановочный тест для интервала медианы, (b) `bootstrap` для проверки гипотезы о равенстве средних
B(a) `bootstrap` для интервала медианы, (b) перестановочный тест для проверки гипотезы о равенстве средних
C(a) только нормальная аппроксимация, (b) только нормальная аппроксимация даже без проверки условий применимости
D(a) не строить интервал, (b) не считать `p-value` и оставить отчёт без формальной проверки гипотезы
Ответ: `Bootstrap` удобен для интервалов, а перестановочный тест — для проверки гипотезы через перестановки.
`Bootstrap` строит эмпирическое распределение статистики (например, медианы) и даёт доверительный интервал без сложных формул. Перестановочный тест строит нулевое распределение при истинной нулевой гипотезе и даёт `p-value` без строгой опоры на нормальность. Типичная ошибка — путать интервал и тест и выдавать один инструмент за другой без корректной интерпретации. Нормальная аппроксимация без проверки условий применима не всегда, а отказ от расчётов оставляет отчёт без вывода.
Подробный разбор → 12Какое утверждение про ограничения метода `bootstrap` наиболее корректно?
A`Bootstrap` гарантирует причинный вывод не хуже рандомизированного эксперимента и убирает влияние смешивающих факторов на оценку.
B`Bootstrap` оценивает вариативность статистики на имеющихся данных, но не исправляет смещение выборки и систематические ошибки сбора.
C`Bootstrap` увеличивает реальный размер выборки за счёт переиспользования наблюдений, поэтому смещение выборки постепенно исчезает.
D`Bootstrap` делает наблюдения независимыми во времени и подходит для любых временных рядов без дополнительных проверок и оговорок.
Ответ: Ресэмплинг оценивает вариативность, но не исправляет систематические ошибки данных.
`Bootstrap` переиспользует те же наблюдения, поэтому не может добавить недостающие группы и не лечит смещение выборки. Если данные собраны с ошибкой или выборка нерепрезентативна, интервал аккуратно описывает неопределённость вокруг неправильной оценки. Типичная ошибка — пытаться компенсировать смещение, увеличивая число повторов `bootstrap` вместо улучшения данных или дизайна исследования.
Подробный разбор → 13В A/B-тесте группы сформированы случайно, а распределение метрики далеко от нормального. Нужно получить `p-value` для гипотезы «разницы нет». Что наиболее естественно использовать?
AСчитать `p-value` как 1 минус среднее значение метрики в объединённой выборке
BСтроить только `bootstrap`-интервал и называть его `p-value` без обоснования и оговорок
CИспользовать только визуальную проверку графиков и вообще не считать `p-value`
DСделать перестановочный тест: переставлять метки групп и сравнивать статистику с наблюдаемой
Ответ: При случайном распределении групп перестановочный тест даёт прямой способ получить `p-value` без предположения нормальности.
Перестановочный тест строит распределение статистики при гипотезе «разницы нет» через перестановки меток групп, что хорошо сочетается с логикой случайного распределения. Это особенно полезно для метрик с тяжёлыми хвостами и нестандартных статистик. Типичная ошибка — применять перестановочный тест к данным, где группы не обменяемы (например, разные источники трафика), и получать некорректный `p-value`. Подменять `p-value` средним значением или интервалом без оговорок тоже неверно.
Подробный разбор → 14У каждого пользователя много событий, и события внутри пользователя коррелированы. Вы хотите оценить неопределённость метрики на уровне пользователя через `bootstrap`. Что корректнее пересэмплировать?
AОтдельные события как независимые наблюдения, не учитывая принадлежность пользователю, чтобы выборка была максимально большой
BТолько дневные средние значения метрики, игнорируя индивидуальных пользователей и тем самым снижая вычислительную сложность `bootstrap`
CПользователей целиком в кластерном `bootstrap`, сохраняя все их события внутри каждой реплики выборки и зависимость событий
DТолько те события, где значение метрики выше медианы, чтобы фокусироваться на «активных» наблюдениях и стабилизировать оценку
Ответ: При зависимости внутри пользователя лучше делать кластерный `bootstrap` по пользователям.
Если пересэмплировать отдельные события, вы будете считать их независимыми и обычно занизите дисперсию. Кластерный `bootstrap` сохраняет структуру данных внутри пользователя и корректнее отражает неопределённость на нужной единице наблюдения. Типичная ошибка — смешать уровни агрегации и получить слишком узкие интервалы.
Подробный разбор → 15Вы сделали 2000 повторов `bootstrap` для разницы средних A−B и получили 2000 значений разницы. Что из этого является эмпирическим распределением разницы средних?
AОдно итоговое значение разницы средних, посчитанное один раз на исходных данных без повторов
BНабор из 2000 значений статистики, полученных через `bootstrap` (его квантили и гистограмма)
CПолный список исходных значений метрики у пользователей в выборках групп A и B
DТаблица сегментов пользователей с их средними значениями выручки в каждой группе
Ответ: Эмпирическое распределение — это распределение значений статистики, полученных через ресэмплинг.
В `bootstrap` нас интересует не распределение наблюдений, а распределение самой статистики при повторении выборки. Набор `bootstrap`-реплик задаёт эмпирическое распределение, из которого берут стандартную ошибку и доверительные интервалы. Типичная ошибка — интерпретировать гистограмму реплик как распределение исходной метрики или путать её со списком исходных значений у пользователей.
Подробный разбор →