Если ложноположительное решение (ошибка I рода) очень дорого для бизнеса, какое изменение настройки тестирования чаще всего уместно?
AПоднять уровень
alpha, чтобы быстрее находить значимые результаты, понимая, что ложноположительные срабатывания участятся.BИгнорировать уровень
alpha и принимать решения по знаку наблюдаемого эффекта, выбирая размер выборки на интуиции.CСнизить уровень
alpha, чтобы уменьшить риск ложноположительных выводов, понимая, что для той же мощности нужно больше данных.DСчитать значимым результат с
p-value больше 0.5, чтобы команда чаще принимала решения о запуске нового варианта.Правильный ответ. Если ложноположительный вывод дорог, обычно снижают
alpha: это уменьшает риск ошибки I рода, но требует больше наблюдений для прежней мощности.Разбор
Уровень alpha определяет порог, при котором мы считаем эффект значимым. Если ошибка «запустить плохой вариант» болезненна для бизнеса, имеет смысл снизить alpha (например, с 0.05 до 0.01) — мы реже будем ошибочно отвергать H0. Платой будет рост требуемой выборки: чтобы сохранить ту же мощность при более строгом пороге, нужно больше данных. Игнорирование alpha, решение «по знаку эффекта» или признание значимыми результатов с p-value > 0.5 — это, наоборот, способы максимально увеличить риск ложноположительных выводов.
Проверь себя · 1/3разбор после ответа
Вы сравниваете средний чек в группах A и B (не долю), а дисперсии заранее неизвестны. Какой базовый тест чаще всего используют для сравнения средних?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →