Для uplift выручки 95% доверительный интервал равен от +0.1% до +0.3% (0 не входит), но бизнес считает полезным только эффект от +2% и выше. Какой вывод наиболее корректен?
AЭффект статистически значим, но интервал лежит ниже бизнес-порога полезности: практическая ценность под вопросом
BЭффект большой и точно окупится: доверительный интервал не включает 0 и значимость подтверждена тестом
CЭффект статистически незначим: диапазон значений лежит ниже бизнес-порога 2% и около нуля по выручке
DНикаких выводов сделать нельзя: интервал слишком узкий и наблюдений в эксперименте, скорее всего, мало
Правильный ответ. Даже при статистической значимости важно сравнивать эффект и доверительный интервал с практическим порогом полезности.
Разбор
Интервал полностью выше 0, значит при уровне значимости 0,05 двусторонняя проверка обычно значима. Но если весь диапазон эффекта лежит ниже бизнес-порога, то практическая ценность сомнительна. Такие случаи часто возникают на больших выборках: статистика уверенно фиксирует малый эффект, который не помогает продукту.
Проверь себя · 1/3разбор после ответа
Вы сравниваете средний чек в группах A и B (не долю), а дисперсии заранее неизвестны. Какой базовый тест чаще всего используют для сравнения средних?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →