Стейкхолдеры хотят еженедельные апдейты и возможность остановить тест раньше, если уже «всё ясно». Что лучше сделать до запуска?
AСмотреть результаты каждый день и остановить, как только станет
p-value < alpha, без дополнительных правилBЗаранее описать
stopping rule, расписание interim analysis и использовать sequential testing с alpha spending.CЗапустить тот же тест несколько раз подряд и выбрать самый удачный результат
DПовысить
alpha, чтобы быстрее получить значимость и сократить рискиПравильный ответ. Если нужны промежуточные решения, заранее задайте
stopping rule и используйте корректный sequential testing.Разбор
Ад-хок остановка по первому p-value < alpha превращает процесс в peeking и повышает false positive. Лучше заранее определить моменты interim analysis и границы для принятия решения. Тогда alpha spending распределит риск ошибки по проверкам, и ранняя остановка будет статистически корректной.
Проверь себя · 1/3разбор после ответа
Если вы заранее знаете, что будете делать 5 проверок одной метрики, какой простой консервативный способ контролировать общий
alpha можно использовать, если нет полноценного alpha spending?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →