В A/B тесте оценка эффекта по конверсии равна +0.3 п.п., а 95%-ный доверительный интервал — от −0.1 п.п. до 0.7 п.п. Минимально полезный эффект для бизнеса — 0.2 п.п. Какой вывод корректнее всего?
AДанных недостаточно для уверенного вывода об улучшении хотя бы на 0.2 п.п.: интервал пересекает и 0, и порог 0.2
BМожно уверенно запускать изменение, потому что точечная оценка эффекта положительная и равна +0.3 п.п.
CМожно утверждать, что эффект как минимум 0.2 п.п., раз верхняя граница интервала больше этого порога
D95%-ный уровень означает, что с вероятностью 95% эффект не меньше 0.2 п.п. в этом тесте
Правильный ответ. Сравнивайте доверительный интервал не только с 0, но и с порогом практической значимости, который важен бизнесу.
Разбор
Доверительный интервал включает отрицательные значения и значения ниже порога 0.2, поэтому нельзя гарантировать полезный эффект. Для бизнес-решения важно определить порог практической значимости и сравнивать интервал именно с ним, а не только с нулём. Частая ошибка — запускать изменение по положительной точечной оценке, игнорируя риск ухудшения и неопределённость, заложенную в интервале.
Проверь себя · 1/3разбор после ответа
Команда в разведочном анализе решила показывать интервалы с уровнем доверия 90% вместо 95%. Какое утверждение корректно описывает последствия?
Ещё вопросы по теме «Доверительные интервалы»
- Как корректно интерпретировать 95-процентный доверительный интервал для среднего чека, рассчитанный по выборке?
- Вы построили доверительный интервал на уровне доверия 99% вместо 95% по тем же данным. Как изменится интервал и почему?
- Что отражает величина стандартной ошибки в контексте доверительного интервала?
- В отчёте указано: предел погрешности (`margin of error`) для доли равен 2 п.п. Что это значит для доверительного интервала вокруг оценки 40% при симметричном интервале?
- Что в статистике означает покрытие доверительных интервалов?
- Все вопросы по «Доверительные интервалы» →