В A/B тесте при огромной выборке вы получили p-value < 0.001, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
AСчитать результат статистически значимым, но оценить практическую полезность и бизнес-эффект, потому что эффект может быть слишком мал.
BСразу выкатывать изменение, потому что маленький
p-value гарантирует большой эффект.CИгнорировать результат, потому что при
p-value < 0.001 тест точно сломан.DСделать вывод, что
H0 верна, потому что эффект слишком мал.Правильный ответ. Статистическая значимость по
p-value не равна практической полезности эффекта.Разбор
При больших выборках даже очень маленькие эффекты могут стать статистически значимыми. Поэтому важно смотреть на размер эффекта и сравнивать его с бизнес-порогом, а также на confidence interval, чтобы понимать диапазон возможных значений. Решение о выкатывании должно учитывать стоимость внедрения и ожидаемую выгоду.
Проверь себя · 1/3разбор после ответа
Для uplift выручки 95%
confidence interval равен от +0.1% до +0.3% (0 не входит), но бизнес считает полезным только эффект от +2% и выше. Какой вывод наиболее корректен?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` 0.03 при проверке `H0` об отсутствии разницы. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% `confidence interval`: от -0.2% до +1.4%. Что можно сказать о статистической значимости при `alpha` 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- Вы заранее выбрали `alpha` 0.05. В результате теста получили `p-value` 0.06. Какой вывод корректнее всего?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →