Команда каждый день смотрит p-value и прекращает эксперимент, как только p-value ниже порога значимости, не используя поправки. Какой главный риск для уровня значимости?
AФактический уровень
alpha станет ниже заявленного, потому что внимательный мониторинг автоматически снижает риск ложных срабатыванийBФактический уровень
alpha станет выше заявленного, потому что многократные проверки увеличивают шанс случайно поймать p-value ниже порогаCМеняется только минимальный детектируемый эффект, а ошибки I и II рода при ранней остановке не затрагиваются вообще
DОшибка II рода вырастет, но ошибка I рода в любом случае останется на заявленном уровне без поправок
Правильный ответ. Повторные проверки без корректного последовательного дизайна раздувают фактический уровень значимости.
Разбор
Если вы многократно смотрите на p-value и останавливаетесь при первом сигнале, вы увеличиваете шанс поймать случайное отклонение. В результате фактическая вероятность ложноположительного вывода становится выше целевого уровня значимости. Чтобы контролировать ошибку I рода, используют заранее заданные правила остановки и методы последовательного тестирования или фиксируют длительность теста.
Проверь себя · 1/3разбор после ответа
Эксперимент по всей аудитории рассчитан на длительность 14 дней при заданных уровне значимости, мощности и
MDE. Продакт хочет сделать столь же надёжный вывод по сегменту, который составляет 20% трафика. Что ожидаемо произойдёт с нужной длительностью для этого сегмента?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →