В A/B тесте вы сравниваете конверсию (долю покупок) между контролем и тритментом на уровне пользователя. Какой тест чаще всего выбирают как базовый на больших выборках?
AДвухвыборочный
z-test для сравнения двух независимых долей конверсии.BПарный
t-test по пользователям, сопоставленным один к одному между группами.CОдновыборочный
z-test для проверки доли против фиксированного теоретического значения.DТест на корреляцию между признаком группы и фактом покупки на уровне строки.
Правильный ответ. Для сравнения двух независимых долей на больших выборках часто используют двухвыборочный
z-test для разницы пропорций.Разбор
Здесь у вас две независимые группы и бинарный исход, поэтому сравнение долей — естественная постановка. z-test использует нормальное приближение для разницы оценок и даёт p-value и доверительный интервал. Парный t-test не соответствует задаче, потому что нет естественных пар между пользователями контроля и тритмента. Важно также корректно определить единицу наблюдения — обычно user_id.
Проверь себя · 1/3разбор после ответа
Если
n увеличили в 4 раза при том же p, как примерно изменится стандартная ошибка доли SE = sqrt(p*(1-p)/n)?Ещё вопросы по теме «Тесты для долей»
- Команда считает конверсию из показа в клик: 80 кликов на 1000 показов. Как корректнее всего описать эту величину как долю?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →