Для uplift выручки на пользователя 95% confidence interval получился очень широким: от -20% до +25%. Какое объяснение наиболее вероятно?
AШирокий доверительный интервал означает, что эффект здесь равен нулю и от изменения нет ни вреда, ни пользы.
BШирокий доверительный интервал означает, что тест автоматически значим при
alpha 0.05 и можно раскатывать вариант.CШирокий доверительный интервал означает, что
p-value будет маленьким, а эффект статистически подтверждён.DВысокая дисперсия выручки на пользователя и недостаточный размер выборки дают большую неопределённость оценки.
Правильный ответ. Широкий доверительный интервал — признак высокой дисперсии метрики и/или малого размера выборки, а не доказательство нуля или значимости.
Разбор
Доверительный интервал отражает, насколько точно мы оценили эффект: чем шире, тем больше неопределённость. На метрике вроде выручки на пользователя дисперсия часто очень высокая (тяжёлые хвосты, выбросы), и при ограниченной выборке интервал растягивается от заметно отрицательных до заметно положительных значений. Это не значит, что эффект «равен нулю» или, наоборот, что результат значим — это значит, что данных пока недостаточно, чтобы что-то уверенно утверждать. Для уточнения оценки обычно либо набирают больше наблюдений, либо снижают дисперсию метрики через CUPED или винзоризацию.
Проверь себя · 1/3разбор после ответа
Вы сравниваете средний чек в группах A и B (не долю), а дисперсии заранее неизвестны. Какой базовый тест чаще всего используют для сравнения средних?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →