Какое утверждение про alpha, beta и power верное?
A
power = 1 - alpha: уменьшение alpha автоматически увеличивает мощность теста при той же выборкеB
beta означает вероятность ложноположительного результата, а alpha означает вероятность ложноотрицательногоC
alpha означает вероятность пропустить эффект, а beta означает вероятность ошибочно найти эффектD
alpha означает вероятность ложноположительного результата, а power = 1 - beta показывает шанс обнаружить реальный эффектПравильный ответ.
alpha контролирует вероятность ошибки I рода, а power = 1 - beta показывает шанс обнаружить эффект при его наличии.Разбор
В A/B тесте alpha — это допустимая вероятность ложноположительного вывода (ошибка I рода). beta — вероятность пропустить реальный эффект (ошибка II рода). Поэтому power = 1 - beta — шанс обнаружить эффект заданного размера, если он действительно существует. Уменьшение alpha при фиксированной выборке обычно снижает мощность, а не увеличивает её.
Проверь себя · 1/3разбор после ответа
Эксперимент по всей аудитории рассчитан на длительность 14 дней при заданных уровне значимости, мощности и
MDE. Продакт хочет сделать столь же надёжный вывод по сегменту, который составляет 20% трафика. Что ожидаемо произойдёт с нужной длительностью для этого сегмента?Ещё вопросы по теме «Размер выборки и мощность теста»
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и `MDE`. Что ожидаемо случится с размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →