У двух групп есть отдельные 95% доверительные интервалы для конверсии, и интервалы немного перекрываются. Можно ли из одного факта перекрытия сделать вывод, что разницы нет на уровне 0.05?

AДа, любое визуальное перекрытие двух отдельных интервалов всегда означает отсутствие статистически значимой разницы между группами
BНет, перекрытие отдельных интервалов не равно тесту разницы; нужен доверительный интервал для разницы или p-value
CДа, но только в том случае, если интервалы перекрываются больше чем на половину ширины меньшего из двух интервалов
DНет, потому что сравнивать доверительные интервалы между группами можно только при условии одинаковых выборочных средних
Правильный ответ. Сравнивать нужно доверительный интервал для разницы между группами, а не визуально оценивать перекрытие двух отдельных интервалов.

Разбор

Перекрытие двух отдельных доверительных интервалов не эквивалентно проверке разницы между группами. Для вывода о различии нужен интервал для разницы (или тест с p-value), потому что учитывается совместная неопределённость. Неинтуитивный момент: даже при небольшом перекрытии разница может быть статистически значимой.

Проверь себя · 1/3разбор после ответа
Для среднего времени ответа построен доверительный интервал от 120 мс до 160 мс. Чему равна предельная ошибка (margin of error)?
Тренировать статистику в Telegram

Ещё вопросы по теме «Доверительные интервалы»