Какое утверждение про alpha, beta и power верное?
A
alpha — вероятность ложноположительного результата, а power = 1 - beta — вероятность обнаружить эффект при его наличииB
power = 1 - alpha, поэтому уменьшение alpha всегда автоматически увеличивает powerC
beta — вероятность ложноположительного результата, а alpha — вероятность ложноотрицательного результатаD
alpha — вероятность пропустить эффект, а beta — вероятность ошибочно найти эффектПравильный ответ.
alpha контролирует вероятность ошибки I рода, а power = 1 - beta показывает вероятность обнаружить эффект при его наличии.Разбор
В A/B тесте alpha — это допустимая вероятность ложноположительного вывода (ошибка I рода). beta — вероятность пропустить реальный эффект (ошибка II рода). Поэтому power = 1 - beta — шанс обнаружить эффект заданного размера, если он действительно существует.
Проверь себя · 1/3разбор после ответа
Вы планируете тест с фиксированными
alpha и power и решили уменьшить MDE с 5% до 2%. Что произойдет с требуемыми sample size и test duration при том же трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Вы повышаете требование к `power` с 80% до 90% при фиксированных `alpha` и `MDE`. Что ожидаемо случится с `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →