Команда зафиксировала уровень значимости alpha 0.05. Что это в первую очередь контролирует в терминах ошибок?
AВероятность
Type II error (ложноотрицательного решения)BВероятность того, что вариант B лучше варианта A
CСреднюю ширину 95%
confidence intervalDВероятность
Type I error (ложноположительного решения) при верной H0Правильный ответ.
alpha задаёт допустимый уровень Type I error при принятии решения отклонять H0.Разбор
Если H0 верна, то при многократном повторении экспериментов правило отклонять H0 при p-value < alpha будет давать ложные срабатывания примерно с частотой alpha. При меньшем alpha меньше риск ложноположительных выводов, но обычно сложнее обнаружить реальные эффекты без увеличения выборки.
Проверь себя · 1/3разбор после ответа
У вас есть таблица с количеством пользователей по вариантам A/B и по категориям (например, 4 источника трафика). Вы хотите проверить, что распределение категорий одинаковое в A и B. Какой тест чаще всего используют?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` 0.03 при проверке `H0` об отсутствии разницы. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% `confidence interval`: от -0.2% до +1.4%. Что можно сказать о статистической значимости при `alpha` 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- В A/B тесте при огромной выборке вы получили `p-value` < 0.001, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Вы заранее выбрали `alpha` 0.05. В результате теста получили `p-value` 0.06. Какой вывод корректнее всего?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →