Ratio-метрики и бутстреп: вопросы для собеседования (часть 2)
Revenue per user, CTR, конверсия — всё это ratio-метрики, для которых стандартный t-test может давать некорректные результаты. Delta-метод, линеаризация, бутстреп — методы, которые решают эту проблему. Вопросы про ratio-метрики показывают, насколько глубоко кандидат понимает статистику за A/B-тестами.
Вопросы 6–10 из 20
6Почему `bootstrap` часто используют для `ratio metric`, например `ARPU` или `CTR`?
AОн дает эмпирическое распределение эффекта и `confidence interval` без предположения о нормальности, учитывая нелинейность отношения
BОн гарантирует меньшую дисперсию, чем любой параметрический метод
CДля него не нужны сырые данные, достаточно средних по вариантам
DОн всегда быстрее `delta method` (дельта-метод для ratio-метрик) на больших выборках
Ответ: `bootstrap` строит эмпирическое распределение `ratio metric`, что помогает при асимметрии, выбросах и нелинейности.
`ARPU` часто имеет тяжелые хвосты, а отношение сумм в `CTR` является нелинейной функцией данных. `bootstrap` пересчитывает метрику на множестве ресэмплированных выборок и позволяет оценить стандартную ошибку и построить `confidence interval` без строгих параметрических допущений. Это особенно полезно, когда нормальная аппроксимация сомнительна.
7У вас по дням есть clicks, impressions и дневной `CTR`. Как правильно получить недельный `CTR`?
AСуммировать clicks за неделю и разделить на сумму impressions за неделю
BВзять простое среднее дневного `CTR`
CВзять максимальный дневной `CTR` как лучший день недели
DВзять `CTR` первого дня недели как репрезентативный
Ответ: Недельный `CTR` корректно считается как суммарные clicks / суммарные impressions, а не как среднее дневных долей.
Дни с разным числом показов имеют разный вклад в общую долю кликов на показ. Простое среднее дневных `CTR` приравнивает маленький день к большому и дает смещение. Отношение сумм эквивалентно `weighted average` дневных `CTR` с весами impressions.
8Вы посчитали пользовательские доли clicks / impressions и хотите получить групповой `CTR`. Что нужно сделать, чтобы итог совпал с суммарными clicks / суммарными impressions?
AВзять простое среднее пользовательского `CTR`
BВзять медиану пользовательского `CTR`
CПосчитать `weighted average` пользовательского `CTR` с весами impressions
DВыкинуть пользователей с impressions = 0 и усреднить оставшихся
Ответ: `weighted average` по знаменателю делает среднее долей эквивалентным отношению сумм для `ratio metric`.
Пользователь с 1 показом и пользователь с 1000 показов не должны влиять на общий `CTR` одинаково. Взвешивание по impressions дает каждому пользователю вклад пропорционально его знаменателю. В результате получается тот же групповой `CTR`, что и при прямом вычислении суммы clicks / суммы impressions.
9В чем основная идея `delta method` (дельта-метод для ratio-метрик) при оценке разницы `ratio metric` между вариантами?
AСгенерировать синтетические логи и оценить эффект на симуляции
BСделать перестановочный тест, перемешав метки вариантов
CЛинеаризовать метрику через приближение Тейлора и получить приближение дисперсии
DВычислить точное распределение отношения сумм без приближений
Ответ: `delta method` (дельта-метод для ratio-метрик) использует линейное приближение функции (например отношения) для оценки дисперсии и доверительного интервала.
Для метрик вида отношение сумм распределение может быть неудобным для прямого анализа. `delta method` (дельта-метод для ratio-метрик) заменяет сложную функцию от случайных величин ее первой производной около среднего, получая приближение стандартной ошибки. После этого можно строить `confidence interval` и оценивать `p-value` как для «обычных» средних в асимптотическом режиме.
10Вы сравниваете `CTR` на очень большом трафике; у каждого пользователя много показов, нулевых знаменателей почти нет. Какой метод обычно дает хороший баланс точности и скорости?
A`delta method` (дельта-метод для ratio-метрик) с линеаризацией и сравнением средних
B`bootstrap` с миллионами итераций как единственно корректный вариант
CПерестановочный тест по всем показам, потому что он всегда точнее
D`Mann–Whitney` по пользовательскому `CTR` без весов
Ответ: При больших выборках и стабильном знаменателе `delta method` (дельта-метод для ratio-метрик) часто достаточно точен и быстрее полного `bootstrap`.
Для `CTR` с большим числом показов асимптотические приближения обычно работают хорошо. `delta method` (дельта-метод для ratio-метрик) дает адекватную стандартную ошибку и быстро считается. `bootstrap` может служить проверкой или использоваться при сомнениях в предположениях, но не всегда оправдан вычислительно.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram