У каждого пользователя максимум одна конверсия, а метрика — conversion rate как доля пользователей с конверсией. Какой тест чаще всего уместен в базовом A/B при большом размере выборки?
A
bootstrap как единственный допустимый методB
z-test (или chi-square) для разницы двух долейC
delta method (дельта-метод для ratio-метрик), потому что это всегда лучший выбор для долейD
Mann–Whitney, потому что он специально для бинарных метрикПравильный ответ. Для
conversion rate как доли бинарного события при больших n обычно подходит z-test (или chi-square) по пропорциям.Разбор
Здесь метрика — доля пользователей с событием, а знаменатель фиксирован на уровне пользователей. При больших выборках нормальная аппроксимация для разницы долей работает хорошо, и тест считается быстро. bootstrap может использоваться как проверка, но часто не требуется для базового решения.
Проверь себя · 1/3разбор после ответа
У вас по дням есть clicks, impressions и дневной
CTR. Как правильно получить недельный CTR?Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является `ratio metric`?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками conversions (число конверсий) и visits (число визитов). Вы хотите получить групповой `conversion rate` по визитам; какой расчет корректен?
- Почему анализ `ratio metric` вроде `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: (1) 1 клик и 1 показ, (2) 9 кликов и 99 показов. Чему равен общий `CTR` по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →