В A/B тесте всего по 25 пользователей на группу, конверсия 0/25 в control и 2/25 в treatment. Какой подход к проверке разницы долей обычно более аккуратен при такой малой выборке?
AТочный тест, основанный на
binomial модели, вместо нормального приближенияBВсегда использовать
z-test, потому что он самый популярныйCИгнорировать статистику и смотреть только на график
DСчитать
Pearson r между группой и покупкойПравильный ответ. На маленьких
n нормальное приближение может быть грубым, поэтому полезны точные методы на binomial.Разбор
При малых выборках и особенно при нулевых успехах в одной группе z-test может давать неточные p-value. Точные методы, основанные на binomial, лучше учитывают дискретность данных. Это соответствует цели: аккуратно сравнить доли при ограниченной информации. Типичная ошибка — уверенно заявлять эффект на основании грубого приближения на маленьком n.
Проверь себя · 1/3разбор после ответа
В A/B тесте вы сравниваете конверсию (долю покупок) между
control и treatment на уровне пользователя. Какой тест чаще всего выбирают как базовый на больших выборках?Ещё вопросы по теме «Тесты для долей»
- Что такое доля в задачах про конверсию?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →