В A/B тесте вы сравниваете ARPU: большинство пользователей дают 0, но иногда бывают очень крупные покупки; выборка умеренная. Какой подход чаще всего более надёжен для p-value и доверительного интервала?
Revenue per user, CTR, конверсия — всё это ratio-метрики, для которых стандартный t-test может давать некорректные результаты. Delta-метод, линеаризация, бутстреп — методы, которые решают эту проблему. Вопросы про ratio-метрики показывают, насколько глубоко кандидат понимает статистику за A/B-тестами.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
AЧисло пользователей / выручка
BВыручка / число пользователей
CЧисло заказов / число пользователей
DВыручка / число заказов
Ответ: `ARPU` — это суммарная выручка, поделенная на число пользователей за период.
Числитель `ARPU` — выручка, а знаменатель — количество пользователей, по которым вы нормируете выручку. Это делает метрику удобной для сравнения монетизации между вариантами. Важно, чтобы знаменатель соответствовал единице рандомизации, иначе интерпретация и дисперсия могут стать некорректными.
2Какая из метрик является метрикой-отношением (`ratio metric`)?
A`CTR` как отношение кликов к показам
BОбщее число кликов по объявлениям за день
CЧисло пользователей в группе теста
DМедианное время на сайте в секундах
Ответ: Метрика-отношение — это дробь двух величин, например кликов к показам у `CTR`.
`CTR` зависит и от кликов (числителя), и от показов (знаменателя). Из-за этого метрика может меняться не только из-за поведения пользователей, но и из-за изменения экспозиции. Такие метрики требуют аккуратной агрегации и корректной оценки дисперсии.
3Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
AВзять среднее значение числа конверсий по пользователям и считать это итоговой групповой конверсией по всему набору
BВзять среднее отношение конверсий к визитам по каждому пользователю без учёта различий в количестве визитов между пользователями
CРазделить суммарное число конверсий по всем пользователям на суммарное число визитов по всем пользователям группы
DРазделить суммарное число визитов по всем пользователям на суммарное число конверсий по всем пользователям группы
Ответ: Групповая конверсия по визитам считается как отношение сумм: суммарные конверсии делятся на суммарные визиты.
Простое среднее пользовательских долей `conversions / visits` отвечает на другой вопрос и переоценивает вклад пользователей с маленьким знаменателем. Отношение сумм автоматически учитывает разный вклад пользователей с разным числом визитов. Это ключевое отличие метрик-отношений от метрик-сумм, и именно отношение сумм соответствует «доле конверсий среди всех визитов в группе».
4Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
A54.5%: простое среднее двух значений CTR без учёта числа показов в каждой кампании
B10%: отношение суммарных кликов к суммарным показам как взвешенное по показам среднее
C100%: значение CTR только первой кампании при игнорировании показателей второй кампании
D9.09%: значение CTR только второй кампании при игнорировании показателей первой кампании
Ответ: Корректный общий CTR считается как сумма кликов, делённая на сумму показов, то есть это взвешенное по показам среднее.
Если усреднить два CTR без весов, кампания с 1 показом получит тот же вес, что и кампания с 99 показами, и результат будет завышен. Правильная агрегация для доли на показ — это отношение сумм: (1+9)/(1+99) = 10%. По сути это взвешенное среднее CTR с весами, равными числу показов. Брать CTR только одной кампании или интерпретировать первую как 100% тоже неверно: данные второй кампании теряются.
5У каждого пользователя максимум одна конверсия, а метрика — доля пользователей с конверсией. Какой тест чаще всего уместен в базовом A/B при большом размере выборки?
A`z-test` (или `chi-square`) для разницы двух долей при достаточно большом размере выборки
B`bootstrap` как единственный допустимый метод, потому что доли всегда требуют непараметрической оценки
CДельта-метод для отношений, потому что это всегда лучший выбор для долей и любых пропорций
D`Mann–Whitney`, потому что этот критерий специально создан для бинарных метрик и пропорций
Ответ: Для доли бинарного события при больших n обычно подходит `z-test` (или `chi-square`) по пропорциям.
Здесь метрика — доля пользователей с событием, а знаменатель фиксирован на уровне пользователей. При больших выборках нормальная аппроксимация для разницы долей работает хорошо, и тест считается быстро. `bootstrap` может использоваться как проверка, но часто не требуется для базового решения. Дельта-метод нужен для метрик-отношений с разным знаменателем, а `Mann–Whitney` — для непрерывных распределений, не для бинарных событий.