Ratio-метрики и бутстреп: вопросы для собеседования (часть 4)
Revenue per user, CTR, конверсия — всё это ratio-метрики, для которых стандартный t-test может давать некорректные результаты. Delta-метод, линеаризация, бутстреп — методы, которые решают эту проблему. Вопросы про ratio-метрики показывают, насколько глубоко кандидат понимает статистику за A/B-тестами.
Вопросы 16–20 из 20
16В каком случае применение дельта-метода для метрик-отношений наиболее рискованно и может дать неверную оценку неопределённости?
AКогда выборка очень большая, знаменатель почти не меняется и хвосты лёгкие
BКогда знаменатель может быть очень малым или нулевым, делая отношение нестабильным
CКогда вы используете одинаковые правила фильтрации в обоих вариантах эксперимента
DКогда метрика считается на фиксированном окне времени по всем пользователям сразу
Ответ: Дельта-метод плохо переносит нестабильный или близкий к нулю знаменатель и сильную нелинейность отношения.
При малых знаменателях небольшое изменение числителя сильно меняет отношение, и линейное приближение перестаёт описывать реальность. Похожая проблема возникает при тяжёлых хвостах и выбросах, что часто встречается в `ARPU`. В таких условиях полезнее применять `bootstrap` или предварительно менять постановку метрики и единицу агрегации. Большие выборки и устойчивая фильтрация, напротив, делают дельта-метод более надёжным.
Подробный разбор → 17В варианте B стало больше трафика из сегмента с низким базовым CTR, хотя внутри каждого сегмента B чуть улучшает кликабельность. Что может произойти, если сравнить общий CTR без учёта сегментов?
AОбщий эффект обязательно станет больше, потому что B улучшает CTR внутри каждого сегмента отдельно
BЭффект гарантированно останется тем же, потому что CTR не зависит от состава трафика по сегментам
CДельта-метод для отношения автоматически исправит смещение состава без необходимости стратификации
DМожно увидеть мнимое падение или рост общего CTR из-за изменения долей сегментов между вариантами
Ответ: Общий результат по метрике-отношению может меняться из-за эффекта состава, даже если внутри сегментов картина другая.
Если доли сегментов отличаются между вариантами, общий CTR превращается в смесь с разными весами. Тогда возможна ситуация, когда внутри каждого сегмента B лучше, но общий CTR хуже, и наоборот — это парадокс Симпсона. Решают стратификацией, корректным взвешиванием или анализом по сегментам перед общими выводами.
Подробный разбор → 18Вы сделали линеаризацию `ratio metric` на уровне пользователя с помощью `delta method` (дельта-метод для ratio-метрик). Какой следующий шаг чаще всего используют для сравнения вариантов?
AСчитать, что статистический тест больше не нужен, потому что после линеаризации `ratio metric` стала линейной функцией
BПрименить `t-test` к линеаризованным пользовательским значениям и построить доверительный интервал для разницы средних
CВернуться к простому среднему пользовательских долей без весов и сравнить варианты обычным `z-test` без поправок
DБутстрапить отдельно числитель и знаменатель `ratio metric`, как независимые выборки, и сравнить варианты по `p-value`
Ответ: После линеаризации `ratio metric` обычно сравнивают варианты как разницу средних, например через `t-test`.
Линеаризация превращает сложное отношение в сумму вкладов по пользователям, что делает задачу похожей на сравнение средних. Дальше можно применять `t-test` (часто `Welch t-test`, если дисперсии отличаются) и построить доверительный интервал. Важно, чтобы единица анализа соответствовала единице рандомизации.
Подробный разбор → 19Вы сравниваете ARPU, но видите редкие очень крупные покупки и сильные выбросы; в каждом варианте около 10 тысяч пользователей. Что разумнее выбрать в первую очередь?
AПрименить обычный `t-test` по ARPU без проверки распределения, считая, что он надёжен для любых хвостов и выбросов
BИспользовать бутстрэп по пользователям и построить доверительный интервал для разницы средних ARPU между вариантами
CПрименить дельта-метод для ratio-метрик без диагностики, считая его всегда более точным, чем бутстрэп при тяжёлых хвостах
DСравнивать только долю платящих через `z-test`, полностью игнорируя размер покупок и сами выбросы в ARPU
Ответ: При тяжёлых хвостах и выбросах в ARPU бутстрэп часто предпочтительнее параметрических приближений.
Выбросы делают распределение среднего сильно несимметричным, и нормальная аппроксимация может работать плохо. Бутстрэп позволяет эмпирически оценить неопределённость и построить доверительный интервал для разницы вариантов, не опираясь на нормальность. Дельта-метод полезен, но без диагностики его нельзя считать заведомо лучше, а `t-test` без проверки хвостов рискует дать заниженный `p-value`. Дополнительно полезно смотреть на компоненты: долю платящих и средний чек среди платящих, чтобы понять источник эффекта.
Подробный разбор → 20Вы тестируете новый ранжирующий алгоритм, который заметно меняет число показов на пользователя; при этом `CTR` вырос. Что правильно сделать перед выводом, что качество кликов улучшилось?
AПринять рост `CTR` как достаточное доказательство улучшения качества кликов без анализа знаменателя
BЗаменить метод сравнения на `t-test` по пользовательскому `CTR` без взвешивания и зафиксировать вывод
CОпираться только на итоговый `p-value` по `CTR` без отдельного анализа компонент метрики
DРазложить `CTR` на компоненты: клики на пользователя и показы на пользователя, чтобы исключить эффект знаменателя
Ответ: Если вариант влияет на знаменатель доли, нужно разложить метрику на числитель и знаменатель и проверить метрики экспозиции до вывода о «качестве».
Рост `CTR` может возникнуть из-за сокращения показов при относительно меньшем сокращении кликов, и это не всегда означает лучший ранжир. Поэтому важно смотреть на клики и показы отдельно, а также на метрики на пользователя, чтобы понять механизм эффекта. Статистически это также сигнал, что наивный анализ долей может быть недостаточен, и стоит выбирать дельта-метод для долей или `bootstrap` на правильной единице.
Подробный разбор →