В A/B тесте вы сравниваете конверсию (долю покупок) между control и treatment на уровне пользователя. Какой тест чаще всего выбирают как базовый на больших выборках?
AДвухвыборочный
z-test для разницы долейBПарный
t-test по пользователямCОдновыборочный
z-test против нуляDТест на
correlation между вариантом и покупкойПравильный ответ. Для сравнения двух независимых долей на больших
n часто используют двухвыборочный z-test.Разбор
Здесь у вас две независимые группы и бинарный исход, поэтому сравнение долей — естественная постановка. z-test использует нормальное приближение для разницы оценок и дает p-value и интервал. Парный t-test не соответствует задаче, потому что нет пар соответствий между пользователями. Важно также корректно определить trial на уровне user_id.
Проверь себя · 1/3разбор после ответа
Для разницы долей
p_treat - p_control вы построили 95% confidence interval, и он полностью выше 0. Что это означает для двустороннего теста на уровне alpha = 0.05?Ещё вопросы по теме «Тесты для долей»
- Что такое доля в задачах про конверсию?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →