Ratio-метрики и бутстреп: вопросы для собеседования (часть 2)
Revenue per user, CTR, конверсия — всё это ratio-метрики, для которых стандартный t-test может давать некорректные результаты. Delta-метод, линеаризация, бутстреп — методы, которые решают эту проблему. Вопросы про ratio-метрики показывают, насколько глубоко кандидат понимает статистику за A/B-тестами.
Вопросы 6–10 из 20
6Почему `bootstrap` часто используют для метрик-отношений, например ARPU или CTR?
AМетод гарантирует меньшую дисперсию оценки, чем любой параметрический подход, и всегда сужает доверительный интервал на хвостах
BДля метода не нужны сырые данные по пользователям, достаточно средних значений по вариантам и общего числа наблюдений по группам
CМетод даёт эмпирическое распределение эффекта и доверительный интервал без предположения о нормальности, учитывая нелинейность отношения
DМетод всегда работает быстрее дельта-метода для отношения метрик на больших выборках и требует меньше вычислительных ресурсов
Ответ: `bootstrap` строит эмпирическое распределение метрики-отношения, что помогает при асимметрии, выбросах и нелинейности.
ARPU часто имеет тяжёлые хвосты, а отношение сумм в CTR является нелинейной функцией данных. `bootstrap` пересчитывает метрику на множестве ресэмплированных выборок и позволяет оценить стандартную ошибку и построить доверительный интервал без строгих параметрических допущений. Это особенно полезно, когда нормальная аппроксимация сомнительна.
Подробный разбор → 7У вас по дням есть `clicks`, `impressions` и дневной `CTR`. Как правильно получить недельный `CTR`?
AПростое среднее дневного `CTR` за 7 дней, в котором каждый день вносит одинаковый вклад
BМаксимальное значение дневного `CTR` за неделю как итоговая характеристика недельного периода
CСумма `clicks` за неделю, делённая на сумму `impressions` за неделю, как отношение сумм
DЗначение `CTR` за первый день недели как репрезентативная оценка всего недельного периода
Ответ: Недельный `CTR` корректно считается как сумма `clicks` за неделю, делённая на сумму `impressions` за неделю.
Дни с разным числом показов имеют разный вклад в общую долю кликов на показ. Простое среднее дневных `CTR` приравнивает маленький день к большому и даёт смещение. Отношение сумм `clicks` к сумме `impressions` эквивалентно средневзвешенному дневных `CTR` с весами `impressions`. Максимум за день — это пиковая точка, а не агрегация по неделе.
Подробный разбор → 8Вы посчитали пользовательские доли клики/показы и хотите получить групповой `CTR`. Что нужно сделать, чтобы итог совпал с суммарными кликами по сумме показов?
AВзять простое среднее пользовательского `CTR` без учёта числа показов и считать это итогом для группы
BВзять медиану пользовательского `CTR` и использовать её как групповое значение для сравнения вариантов теста
CВыкинуть пользователей с нулевым числом показов и усреднить оставшиеся пользовательские `CTR` арифметически
DПосчитать взвешенное среднее пользовательского `CTR` с весами, равными числу показов у пользователя
Ответ: Взвешивание по знаменателю делает среднее долей эквивалентным отношению сумм для метрики-отношения.
Пользователь с одним показом и пользователь с тысячей показов не должны влиять на общий `CTR` одинаково. Взвешивание по числу показов даёт каждому пользователю вклад пропорционально его знаменателю. В результате получается тот же групповой `CTR`, что и при прямом вычислении суммы кликов делённой на сумму показов.
Подробный разбор → 9В чём основная идея дельта-метода при оценке разницы метрик-отношений между вариантами?
AСгенерировать синтетические логи и оценить эффект на симуляции, заменив реальные данные модельными
BСделать перестановочный тест, перемешав метки вариантов и оценив значимость через эмпирическое распределение
CЛинеаризовать метрику через приближение Тейлора около средних и получить аналитическую оценку дисперсии
DВычислить точное распределение отношения сумм без приближений, опираясь на закон распределения каждой части
Ответ: Дельта-метод использует линейное приближение нелинейной функции (например, отношения) для оценки её дисперсии и доверительного интервала.
Для метрик вида отношение сумм точное распределение часто неудобно для анализа. Дельта-метод заменяет нелинейную функцию (например, отношение) её линейным приближением через ряд Тейлора около средних. Это даёт аналитическую формулу для дисперсии, после которой можно строить доверительный интервал и считать `p-value` как для «обычных» средних в асимптотическом режиме. Симуляции и перестановочные тесты — это другие подходы, они не используют линеаризацию, а точное распределение отношения сумм в общем случае не считают.
Подробный разбор → 10Вы сравниваете CTR на очень большом трафике; у каждого пользователя много показов, нулевых знаменателей почти нет. Какой метод обычно даёт хороший баланс точности и скорости?
AДельта-метод с линеаризацией ratio-метрики и сравнением средних: быстро и достаточно точно на больших выборках
B`bootstrap` с миллионами итераций как единственно допустимый вариант для любых размеров выборки
CПерестановочный тест по всем показам как самый строгий и точный подход в любой постановке
D`Mann–Whitney` по пользовательскому `CTR` без весов с игнорированием разного числа показов у пользователей
Ответ: При больших выборках и стабильном знаменателе дельта-метод часто достаточно точен и быстрее `bootstrap`.
Для CTR с большим числом показов асимптотические приближения обычно работают хорошо. Дельта-метод даёт адекватную стандартную ошибку для ratio-метрики и быстро считается на миллионах строк. `bootstrap` может служить проверкой или использоваться при сомнениях в предположениях, но вычислительно дороже. Перестановочный тест по показам игнорирует кластеризацию по пользователю, а `Mann–Whitney` по пользовательскому CTR не учитывает разное число показов и теряет мощность.
Подробный разбор →