Команда каждый день смотрит p-value и прекращает эксперимент, как только p-value < alpha, не используя поправки. Какой главный риск для alpha?
AФактический
alpha станет меньше, потому что вы внимательнее следите за результатомBФактический
beta станет больше, но alpha не изменитсяCФактический
alpha станет выше заявленного, потому что многократные проверки увеличивают шанс случайного p-value < alphaDМеняется только
MDE, а ошибки I и II рода не затрагиваютсяПравильный ответ. Повторные проверки без корректного
sequential дизайна раздувают фактический alpha.Разбор
Если вы многократно смотрите на p-value и останавливаетесь при первом сигнале, вы увеличиваете шанс поймать случайное отклонение. В результате фактическая вероятность ложноположительного вывода становится выше целевого alpha. Чтобы контролировать alpha, используют заранее заданные правила остановки и sequential методы или фиксируют test duration.
Проверь себя · 1/3разбор после ответа
Вы повышаете требование к
power с 80% до 90% при фиксированных alpha и MDE. Что ожидаемо случится с sample size?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →