В A/B тесте разница конверсии составила +0.1 процентного пункта, при этом p-value оказался меньше 0.05 из-за огромной выборки. Какой вывод для продуктового решения наиболее корректен?
AНадо выкатывать, потому что
p-value < 0.05 всегда означает важный эффектBНадо откатывать, потому что эффект слишком маленький и значит данных недостаточно
CНужно срочно пересчитать
z-test, потому что маленький эффект не может быть значимымDСтатистически эффект обнаружен, но нужно оценить практическую значимость и сравнить с порогом полезности, используя размер эффекта и
confidence intervalПравильный ответ.
p-value говорит про обнаружимость, а решение требует оценки практического размера эффекта.Разбор
На больших выборках даже очень маленькие изменения доли становятся статистически значимыми. Поэтому важно смотреть на эффект в процентных пунктах, на confidence interval и на минимальный полезный эффект для бизнеса. Если +0.1 процентного пункта не окупает стоимость изменений, значимость не помогает. Типичная ошибка — принимать решение только по p-value, игнорируя масштаб влияния.
Проверь себя · 1/3разбор после ответа
Историческая конверсия была 8%. После редизайна у вас 5000 пользователей и 420 покупок. Какой тест подходит, чтобы проверить
H0: p = 0.08 на большой выборке?Ещё вопросы по теме «Тесты для долей»
- Что такое доля в задачах про конверсию?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →