Для прироста конверсии 95%-й доверительный интервал равен от -1% до +5%, а минимально полезный эффект для бизнеса начинается с +2%. Что это означает для решения?
AРезультат однозначно отрицательный: изменения точно вредны, потому что нижняя граница интервала отрицательная, и тест надо немедленно откатить
BРезультат однозначно положительный и полезный, потому что верхняя граница интервала равна +5%, а это выше порога практической значимости в 2%
CРезультат неопределённый: интервал включает и вред, и практически полезный эффект, поэтому стоит увеличить выборку, продлить тест или снизить дисперсию метрики
DЭто автоматически гарантирует, что
p-value будет меньше alpha 0.05, а значит можно принимать решение в пользу варианта без дополнительных проверокПравильный ответ. Если доверительный интервал включает и 0, и практически важные значения, вывод обычно остаётся неопределённым.
Разбор
Интервал от -1% до +5% говорит, что данные совместимы с разными сценариями: от небольшого ухудшения до заметного улучшения. При таком интервале нельзя уверенно принять решение по практической полезности. Часто нужно больше наблюдений, снижение дисперсии метрики или более точная формулировка гипотезы и критериев успеха.
Проверь себя · 1/3разбор после ответа
Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →