Что означает параметр бета (β) в планировании A/B-теста?
AБета: вероятность ошибки первого рода, синоним уровня значимости alpha при планировании теста
BБета: доля пользователей в контрольной группе по отношению ко всей выборке эксперимента
CБета: минимальный размер эффекта
MDE, который мы хотим уверенно поймать в экспериментеDБета: вероятность пропустить реальный эффект заданного размера, то есть ошибка второго рода
Правильный ответ. Бета — вероятность ошибки II рода (пропустить реальный эффект); мощность теста равна
1 − β.Разбор
Бета описывает риск ложноотрицательного вывода: эффект существует, но тест его не выявил при выбранном пороге. Соответственно, мощность теста равна 1 − β — это вероятность обнаружить эффект размера MDE или больше, если он действительно есть. При планировании эксперимента обычно задают целевую мощность, например 80% или 90%. Уровень значимости alpha и MDE — это другие параметры, их не нужно путать с бетой.
Проверь себя · 1/3разбор после ответа
Что означает параметр бета (β) в планировании A/B-теста?
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →