Вопросы по теме «Ratio-метрики и бутстреп»
Revenue per user, CTR, конверсия — всё это ratio-метрики, для которых стандартный t-test может давать некорректные результаты. Delta-метод, линеаризация, бутстреп — методы, которые решают эту проблему. Вопросы про ratio-метрики показывают, насколько глубоко кандидат понимает статистику за A/B-тестами.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
Вопросы 1–5 из 20
1Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
AЧисло пользователей / выручка
BВыручка / число пользователей
CЧисло заказов / число пользователей
DВыручка / число заказов
Ответ: `ARPU` — это суммарная выручка, поделенная на число пользователей за период.
Числитель `ARPU` — выручка, а знаменатель — количество пользователей, по которым вы нормируете выручку. Это делает метрику удобной для сравнения монетизации между вариантами. Важно, чтобы знаменатель соответствовал единице рандомизации, иначе интерпретация и дисперсия могут стать некорректными.
2Какая из метрик является `ratio metric`?
A`CTR` как клики на показы
BОбщее число кликов
CЧисло пользователей в группе
DМедианное время на сайте
Ответ: `ratio metric` — это отношение двух величин, например кликов к показам.
`CTR` зависит и от кликов (числителя), и от показов (знаменателя). Из-за этого метрика может меняться не только из-за поведения пользователей, но и из-за изменения экспозиции. Такие метрики требуют аккуратной агрегации и корректной оценки дисперсии.
3Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
AВзять среднее conversions по пользователям
BВзять среднее (conversions / visits) по пользователям без весов
CРазделить сумму conversions на сумму visits
DРазделить сумму visits на сумму conversions
Ответ: Групповой `conversion rate` по визитам считается как отношение сумм: суммарные conversions / суммарные visits.
Простое среднее пользовательских долей (conversions / visits) отвечает на другой вопрос и переоценивает вклад пользователей с маленьким знаменателем. Отношение сумм автоматически учитывает разный вклад пользователей с разным числом визитов. Это ключевое отличие многих `ratio metric` от метрик-сумм.
4Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
A54.5% как среднее двух `CTR` без весов
B10% как отношение суммарных кликов к суммарным показам
C100% так как в одной кампании `CTR` равен 1
D9.09% как `CTR` второй кампании
Ответ: Корректный общий `CTR` считается как сумма кликов, деленная на сумму показов, то есть это `weighted average` по показам.
Если усреднить два `CTR` без весов, кампания с 1 показом получит тот же вес, что и кампания с 99 показами, и результат будет завышен. Правильная агрегация для доли на показ — это ratio of sums: (1+9)/(1+99). В данном примере общий `CTR` равен 10%.
5У каждого пользователя максимум одна конверсия, а метрика — `conversion rate` как доля пользователей с конверсией. Какой тест чаще всего уместен в базовом A/B при большом размере выборки?
A`bootstrap` как единственный допустимый метод
B`z-test` (или `chi-square`) для разницы двух долей
C`delta method` (дельта-метод для ratio-метрик), потому что это всегда лучший выбор для долей
D`Mann–Whitney`, потому что он специально для бинарных метрик
Ответ: Для `conversion rate` как доли бинарного события при больших n обычно подходит `z-test` (или `chi-square`) по пропорциям.
Здесь метрика — доля пользователей с событием, а знаменатель фиксирован на уровне пользователей. При больших выборках нормальная аппроксимация для разницы долей работает хорошо, и тест считается быстро. `bootstrap` может использоваться как проверка, но часто не требуется для базового решения.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram