Команда зафиксировала уровень значимости alpha 0.05. Что это в первую очередь контролирует в терминах ошибок?
AСреднюю ширину доверительного интервала на уровне 95% при принятии итогового решения по тесту
BВероятность ошибки II рода: пропустить реальный эффект, когда альтернативная гипотеза верна
CВероятность того, что вариант B даст результат лучше, чем вариант A в реальной аудитории
DВероятность ошибки I рода: отклонить верную
H0, увидев эффект там, где его на самом деле нетПравильный ответ.
alpha задаёт допустимый уровень ошибки I рода — частоту ложных срабатываний при верной H0.Разбор
Если H0 верна, то при многократном повторении экспериментов правило отклонять её при p-value < alpha будет давать ложные срабатывания примерно с частотой alpha. При меньшем alpha снижается риск ложноположительных выводов, но обычно сложнее обнаружить реальный эффект без увеличения выборки. Ошибка II рода (пропуск эффекта) контролируется не alpha, а мощностью теста.
Проверь себя · 1/3разбор после ответа
Вы смотрите 20 метрик и для каждой проверяете гипотезу на уровне значимости 0.05, объявляя успехом любую метрику, где
p-value < 0.05. Какой риск возрастает сильнее всего?Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Вы заранее выбрали `alpha` 0.05. В результате теста получили `p-value` 0.06. Какой вывод корректнее всего?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →