Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
AРазница статистически значима, потому что верхняя граница интервала больше нуля
BРазница не статистически значима, потому что доверительный интервал включает ноль
CРазница точно отрицательная, потому что нижняя граница интервала меньше нуля
DЭто значит, что с вероятностью 95% истинный эффект лежит в этом интервале
Правильный ответ. Если 95% доверительный интервал для разницы включает ноль, при уровне значимости 0.05 двусторонняя проверка обычно не отклоняет нулевую гипотезу.
Разбор
Ноль в интервале означает, что данные совместимы как с небольшим отрицательным, так и с положительным эффектом. Поэтому при двусторонней проверке на уровне значимости 0.05 обычно нет оснований отклонять нулевую гипотезу. При этом интервал всё равно полезен: он показывает диапазон эффектов, которые остаются правдоподобными. Толкование «истинный эффект с вероятностью 95% в интервале» — это частая ошибка байесовской интерпретации.
Проверь себя · 1/3разбор после ответа
Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Вы заранее выбрали `alpha` 0.05. В результате теста получили `p-value` 0.06. Какой вывод корректнее всего?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →