Для разницы конверсий вы построили 95% confidence interval: от -0.2% до +1.4%. Что можно сказать о статистической значимости при alpha 0.05 и двусторонней проверке?

AРазница статистически значима, потому что верхняя граница больше 0.
BРазница не статистически значима, потому что интервал включает 0.
CРазница точно отрицательная, потому что есть отрицательная граница.
DЭто означает 95% вероятность того, что истинный эффект лежит в интервале.
Правильный ответ. Если 95% confidence interval для разницы включает 0, то при alpha 0.05 двусторонняя проверка обычно не отклоняет H0.

Разбор

Ноль в интервале означает, что данные совместимы как с небольшим отрицательным, так и с положительным эффектом. Поэтому при двустороннем критерии на уровне alpha 0.05 обычно нет оснований отклонять H0. При этом интервал всё равно полезен: он показывает диапазон эффектов, которые остаются правдоподобными.

Проверь себя · 1/3разбор после ответа
Команда зафиксировала уровень значимости alpha 0.05. Что это в первую очередь контролирует в терминах ошибок?
Тренировать A/B в Telegram

Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»