У каждого пользователя максимум одна конверсия, а метрика — доля пользователей с конверсией. Какой тест чаще всего уместен в базовом A/B при большом размере выборки?
A
z-test (или chi-square) для разницы двух долей при достаточно большом размере выборкиB
bootstrap как единственный допустимый метод, потому что доли всегда требуют непараметрической оценкиCДельта-метод для отношений, потому что это всегда лучший выбор для долей и любых пропорций
D
Mann–Whitney, потому что этот критерий специально создан для бинарных метрик и пропорцийПравильный ответ. Для доли бинарного события при больших n обычно подходит
z-test (или chi-square) по пропорциям.Разбор
Здесь метрика — доля пользователей с событием, а знаменатель фиксирован на уровне пользователей. При больших выборках нормальная аппроксимация для разницы долей работает хорошо, и тест считается быстро. bootstrap может использоваться как проверка, но часто не требуется для базового решения. Дельта-метод нужен для метрик-отношений с разным знаменателем, а Mann–Whitney — для непрерывных распределений, не для бинарных событий.
Проверь себя · 1/3разбор после ответа
Вы посчитали пользовательские доли клики/показы и хотите получить групповой
CTR. Что нужно сделать, чтобы итог совпал с суммарными кликами по сумме показов?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →