Бутстреп и перестановочные тесты: вопросы для собеседования (часть 4)
Бутстреп позволяет оценить распределение статистики без параметрических предпосылок — просто перевыборкой с возвращением. Перестановочные тесты проверяют гипотезы без предположений о распределении данных. На собеседовании просят объяснить алгоритм бутстрепа, когда он предпочтительнее аналитических методов и в чём его ограничения.
Вопросы 16–20 из 20
16Как в `permutation test` обычно оценивают `p-value` для наблюдаемой статистики?
AСчитают долю перестановок, где статистика не менее экстремальна, чем наблюдаемая, с учётом одно- или двусторонней альтернативы
BБерут среднее значение тестовой статистики по всем перестановкам и сравнивают его с наблюдаемой статистикой исходных данных
CСравнивают наблюдённый `p-value` с порогом 0.05 без построения распределения статистики через перестановки меток групп
DДелят разницу средних между группами на стандартное отклонение исходных данных и трактуют результат как `p-value`
Ответ: В `permutation test` `p-value` — это доля перестановок, дающих статистику не менее экстремальную, чем наблюдаемая.
Мы фиксируем исходные данные и многократно переставляем метки групп, получая распределение статистики при `H0`. Далее сравниваем наблюдаемую статистику с этим распределением и считаем долю перестановок, где значение столь же экстремально. Важно заранее выбрать односторонний или двусторонний критерий, иначе легко ошибиться в интерпретации результата.
Подробный разбор → 17Метрика `ARPU = sum(revenue)/count(users)`, у пользователя может быть несколько покупок. Вы хотите оценить разницу `ARPU` между A и B через `bootstrap`. Какой ресэмплинг наиболее корректен?
AПересэмплировать транзакции как независимые наблюдения, игнорируя структуру по пользователям
BПересэмплировать `sum(revenue)` отдельно от `count(users)` и делить эти величины между собой
CПересэмплировать пользователей целиком вместе с их выручкой и считать `ARPU` в каждой реплике
DПеремешать выручку случайно между пользователями и считать получившуюся процедуру `bootstrap`
Ответ: В `bootstrap` важно пересэмплировать на уровне той единицы наблюдения, которая определяет метрику.
Если метрика определена на уровне пользователя, пересэмплировать нужно пользователей, а не отдельные транзакции, иначе вы нарушите структуру зависимости и занизите дисперсию оценок. Пересэмплирование числителя и знаменателя по отдельности ломает их связь и даёт некорректные доверительные интервалы. Перемешивание выручки между пользователями — это вообще не `bootstrap`, а пермутационная процедура для другой задачи. Типичная ошибка — считать, что любые повторные выборки подойдут, хотя уровень ресэмплинга принципиален для ratio-метрик.
Подробный разбор → 18В перестановочном тесте вы сделали 1000 перестановок и в 23 из них статистика была не менее экстремальной, чем наблюдаемая. Какая оценка `p-value` наиболее подходит в этом описании?
A0.23: получится при ошибочном делении 23 на 100 вместо общего числа перестановок
B0.0023: получится при делении 23 на 10000 вместо фактических 1000 перестановок
C0.05: стандартный уровень значимости, а не оценка `p-value` по наблюдениям
D0.023: отношение числа экстремальных перестановок к общему, то есть 23 из 1000
Ответ: Оценка `p-value` в перестановочном тесте — это доля «экстремальных» перестановок относительно их общего числа.
Если в 23 из 1000 перестановок статистика оказалась не менее экстремальной, чем наблюдаемая, естественная оценка `p-value` равна 23/1000 = 0.023. Иногда используют сглаживание `(k+1)/(N+1)`, чтобы избежать нулевого `p-value` при `k=0`. Типичная ошибка — перепутать порядок величины и случайно умножить или разделить на лишний десяток. Уровень значимости 0.05 — это пороговая константа, а не оценка по данным.
Подробный разбор → 19Какое допущение является ключевым для корректности перестановочного теста (permutation test) при проверке нулевой гипотезы в A/B-сценарии?
AМетрика обязательно должна иметь нормальное распределение в каждой из групп эксперимента
BВ каждой группе должно быть не меньше 30 наблюдений, иначе тест неприменим
CДанные должны быть очищены от выбросов и иметь одинаковую дисперсию между группами
DПри нулевой гипотезе наблюдения обменяемы между группами: метки можно переставлять без изменения распределения
Ответ: Перестановочный тест опирается на обменяемость меток при истинной нулевой гипотезе.
Если группы сформированы случайно, то при истинной нулевой гипотезе различие меток не должно иметь значения, и перестановки воспроизводят нулевое распределение статистики. Если же метки связаны с составом аудитории или временем, обменяемость нарушается, и `p-value` может стать некорректным. Типичная ошибка — применять перестановочный тест к наблюдательным данным без обсуждения предпосылок.
Подробный разбор → 20Вы сравниваете две версии продукта, но группы сформированы не случайно: версия A только в одном регионе, версия B только в другом. Команда хочет применить перестановочный тест, переставляя метки. Что корректнее всего сказать?
AБез обменяемости меток перестановки не моделируют `H0`, тест может быть некорректен; `bootstrap` даст лишь интервал для разницы
BПерестановочный тест корректен и в наблюдательном дизайне: перестановки заменяют рандомизацию даже при сильном дисбалансе групп
CДостаточно сделать больше перестановок и увеличить выборку: тогда смешивание регионального и продуктового эффектов исчезнет
DДостаточно применить `bootstrap` поверх средних в группах: после этого вывод о причинной разнице между версиями становится валидным
Ответ: Без обменяемости меток перестановки не отражают `H0`, поэтому перестановочный тест может дать некорректный `p-value`.
В наблюдательном дизайне метка версии связана с регионом, а регион может влиять на метрику, поэтому простая перестановка меток нарушает структуру данных и нарушает обменяемость. `Bootstrap` в таком случае может оценить неопределённость наблюдаемой разницы, но не делает вывод причинным. Для причинного вывода нужен дизайн с рандомизацией или явный контроль факторов, иначе легко принять региональный эффект за эффект фичи.
Подробный разбор →