Для uplift выручки на пользователя 95% confidence interval получился очень широким: от -20% до +25%. Какое объяснение наиболее вероятно?
AШирокий интервал означает, что эффект точно равен 0.
BШирокий интервал означает, что тест автоматически значим при
alpha 0.05.CШирокий интервал означает, что
p-value всегда будет маленьким.DВысокая вариативность метрики и/или недостаточный размер выборки дают большую неопределённость оценки.
Правильный ответ. Ширина
confidence interval отражает неопределённость и обычно растёт при высокой дисперсии и малой выборке.Разбор
Выручка на пользователя часто очень вариативна, поэтому для стабильной оценки требуется больше данных. Если выборка мала, стандартная ошибка велика, и 95% confidence interval расширяется. В такой ситуации тест может быть статистически неубедительным даже при потенциально полезном эффекте.
Проверь себя · 1/3разбор после ответа
Команда зафиксировала уровень значимости
alpha 0.05. Что это в первую очередь контролирует в терминах ошибок?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` 0.03 при проверке `H0` об отсутствии разницы. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% `confidence interval`: от -0.2% до +1.4%. Что можно сказать о статистической значимости при `alpha` 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B тесте при огромной выборке вы получили `p-value` < 0.001, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →