Для uplift выручки 95% confidence interval равен от +0.1% до +0.3% (0 не входит), но бизнес считает полезным только эффект от +2% и выше. Какой вывод наиболее корректен?
AЭффект большой и точно окупится, потому что интервал не включает 0.
BЭффект статистически незначим, потому что он меньше 2%.
CЭффект статистически значим, но по интервалу видно, что он существенно ниже практического порога полезности.
DНельзя сделать никаких выводов, потому что интервал узкий.
Правильный ответ. Даже при статистической значимости важно сравнивать эффект и
confidence interval с практическим порогом.Разбор
Интервал полностью выше 0, значит для alpha 0.05 двусторонняя проверка обычно значима. Но если весь диапазон эффекта лежит ниже бизнес-порога, то практическая ценность сомнительна. Такие случаи часто возникают на больших выборках: статистика уверенно фиксирует малый эффект, который не помогает продукту.
Проверь себя · 1/3разбор после ответа
У вас есть таблица с количеством пользователей по вариантам A/B и по категориям (например, 4 источника трафика). Вы хотите проверить, что распределение категорий одинаковое в A и B. Какой тест чаще всего используют?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` 0.03 при проверке `H0` об отсутствии разницы. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% `confidence interval`: от -0.2% до +1.4%. Что можно сказать о статистической значимости при `alpha` 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B тесте при огромной выборке вы получили `p-value` < 0.001, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →