Команда говорит: будем крутить эксперимент, пока не получим p-value < alpha, и тогда сразу запустим в прод. Что лучше всего ответить?
AЭто отличная стратегия, потому что она всегда уменьшает
false positiveBЭто допустимо, если
alpha заранее выбрали маленьким, например alpha = 0.01CЭто работает только если
treatment лучше control, тогда Type I error не растётDЭто нарушение
stopping rule: нужен fixed horizon или заранее спланированный sequential testing с alpha spending.Правильный ответ. «Крутить до
p-value < alpha» — это optional stopping, который повышает false positive; нужен fixed horizon или корректный sequential-дизайн.Разбор
Такой подход подгоняет правило принятия решения под данные и ломает интерпретацию значимости. В результате вы можете принять шум за эффект и переоценить effect size. Безопасная альтернатива — fixed horizon или корректный sequential testing с alpha spending.
Проверь себя · 1/3разбор после ответа
У вас нет инфраструктуры для
sequential testing, но команда хочет минимизировать риски от peeking. Какой подход самый безопасный и простой?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →