Ratio-метрики и бутстреп: вопросы для собеседования (часть 3)
Revenue per user, CTR, конверсия — всё это ratio-метрики, для которых стандартный t-test может давать некорректные результаты. Delta-метод, линеаризация, бутстреп — методы, которые решают эту проблему. Вопросы про ratio-метрики показывают, насколько глубоко кандидат понимает статистику за A/B-тестами.
Вопросы 11–15 из 20
11Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
AЗнаменатель показов может меняться и быть связан с эффектом, из-за чего смещаются и точечная оценка `CTR`, и её стандартная ошибка.
B`CTR` всегда нормально распределён по построению, поэтому любые методы анализа долей дают одинаковый ответ независимо от выборки и дисперсии.
CУ долей вида `CTR` нет дисперсии, поэтому стандартная статистика для тестов и доверительных интервалов в принципе не нужна на практике.
D`CTR` не зависит от числа показов в группе, поэтому знаменатель можно безопасно игнорировать при сравнении вариантов и оценке стандартной ошибки.
Ответ: Доля `CTR` зависит от вариативности и возможного изменения знаменателя, что влияет и на оценку эффекта, и на её неопределённость.
Если вариант влияет на количество показов, то `CTR` может вырасти даже при неизменных кликах, просто из-за снижения знаменателя. Кроме того, у пользователей разные знаменатели, и наивное усреднение долей может исказить вклад наблюдений. Поэтому часто применяют дельта-метод для долей или `bootstrap`, чтобы корректно оценить дисперсию и доверительный интервал. Утверждения о нормальности `CTR` по построению или о независимости от показов на практике неверны.
Подробный разбор → 12Когда `delta method` (дельта-метод для ratio-метрик) обычно даёт приемлемое приближение для разницы в `CTR`?
AКогда выборка маленькая, а скорость ответа важнее точности оценки стандартной ошибки и доверительного интервала
BКогда распределение эффекта заведомо двухвершинное и сильно несимметричное, а знаменатель почти всегда близок к нулю
CКогда выборка большая, а знаменатель достаточно стабильный и далеко от нуля у подавляющей доли наблюдений
DКогда у большого числа пользователей знаменатель равен нулю или почти нулю, а выборка при этом сильно несбалансирована
Ответ: `delta method` лучше работает при больших выборках и при отсутствии нестабильности знаменателя у заметной доли наблюдений.
Линейное приближение становится точнее, когда выполнена асимптотика и нет «взрывов» отношения из-за малых знаменателей. Если у многих наблюдений знаменатель нулевой или очень маленький, ratio-метрика становится крайне шумной. Тогда приближение для стандартной ошибки может быть плохим, и стоит рассмотреть `bootstrap` или иной подход к оценке дисперсии.
Подробный разбор → 13В A/B тесте вы сравниваете ARPU: большинство пользователей дают 0, но иногда бывают очень крупные покупки; выборка умеренная. Какой подход чаще всего более надёжен для p-value и доверительного интервала?
AСделать `bootstrap` на уровне пользователей и оценить распределение разницы между группами
BИспользовать только дельта-метод для ratio-метрик без проверки формы распределения хвостов
CПрименить `z-test` для долей и игнорировать величину покупок, оставив только факт покупки
DСравнить медианы через `t-test` и считать это устойчивым к выбросам приближением
Ответ: Для сильно скошенных метрик типа ARPU `bootstrap` часто даёт более устойчивую оценку неопределённости, чем линейные приближения.
При тяжёлых хвостах среднее нестабильно, а асимптотическая нормальность наступает медленно. `bootstrap` учитывает реальную форму распределения и влияние редких крупных чеков, если ресэмплировать пользователей как единицы рандомизации. Дельта-метод и `z-test` для долей опираются на предположения, которые при таких данных могут не выполняться.
Подробный разбор → 14Эксперимент рандомизируется по пользователям, а метрика `CTR` считается как клики/показы. Как корректнее всего настроить `bootstrap` для оценки разницы вариантов?
AРесэмплировать отдельные показы случайно, игнорируя принадлежность пользователю и считая `CTR` по всему пулу
BРесэмплировать пользователей с возвращением в каждой группе и пересчитывать `CTR` как отношение суммы кликов к сумме показов
CРесэмплировать клики и показы независимо друг от друга и брать отношение средних значений в каждой реплике
DРесэмплировать только дни и считать `CTR` по дням, усредняя дневные значения для каждой из групп эксперимента
Ответ: В `bootstrap` нужно ресэмплировать на уровне единицы рандомизации и пересчитывать отношение метрики как отношение сумм.
Если рандомизация по пользователю, внутри пользователя наблюдения зависимы и это нужно сохранять. Поэтому в каждом бутстрап-репликате выбирают пользователей с возвращением, суммируют клики и показы по выбранным пользователям и считают `CTR`. Так получают эмпирическое распределение эффекта без жёстких предположений о форме распределения.
Подробный разбор → 15Какая ошибка в `bootstrap` чаще всего приводит к некорректной оценке дисперсии для `CTR`?
AПересчитывать `CTR` в каждой реплике как отношение суммарных кликов к суммарным показам по ресэмплированным пользователям
BРесэмплировать пользователей с возвращением и считать `CTR` целиком на каждой реплике без разрыва числителя и знаменателя
CРесэмплировать числитель и знаменатель отдельно как независимые выборки, что разрушает корреляцию кликов и показов
DФиксировать `seed` для воспроизводимости вычислений и одинакового результата `bootstrap` при повторных запусках
Ответ: Нельзя бутстрапить числитель и знаменатель отдельно, если они статистически зависимы — это занижает дисперсию.
Клики и показы обычно связаны: больше показов часто означает больше возможностей для кликов. Если бутстрапить их независимо, вы разрушаете эту зависимость и можете занизить дисперсию эффекта. Правильнее ресэмплировать исходные наблюдения на уровне единицы рандомизации (пользователя) и пересчитывать ratio-метрику целиком на каждой реплике. Фиксация `seed` важна для воспроизводимости, но к смещению дисперсии она не приводит.
Подробный разбор →