В A/B тесте разница конверсии составила +0.1 процентного пункта, при этом p-value оказался меньше 0.05 из-за огромной выборки. Какой вывод для продуктового решения наиболее корректен?
AНадо выкатывать без обсуждения:
p-value < 0.05 всегда означает важный для бизнеса эффект независимо от его абсолютной величиныBЭффект статистически обнаружен, но нужно сравнить его с минимальным полезным порогом и оценить доверительный интервал перед решением о выкате
CНадо откатывать без проверки: эффект слишком маленький в процентных пунктах и значит данных явно недостаточно для решения
DНужно срочно пересчитать
z-test другим методом: маленький эффект на больших выборках не может быть статистически значимымПравильный ответ.
p-value говорит про обнаружимость эффекта, а решение требует оценки практической значимости и доверительного интервала.Разбор
На больших выборках даже очень маленькие изменения доли становятся статистически значимыми. Поэтому важно смотреть на эффект в процентных пунктах, на доверительный интервал и на минимальный полезный эффект для бизнеса. Если +0.1 процентного пункта не окупает стоимость изменений, статистическая значимость не помогает. Типичная ошибка — принимать решение только по p-value, игнорируя масштаб влияния.
Проверь себя · 1/3разбор после ответа
Историческая конверсия была 8%. После редизайна у вас 5000 пользователей и 420 покупок. Какой тест подходит, чтобы проверить гипотезу
H0: p = 0.08 на большой выборке?Ещё вопросы по теме «Тесты для долей»
- Команда считает конверсию из показа в клик: 80 кликов на 1000 показов. Как корректнее всего описать эту величину как долю?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →