Что такое alpha spending в sequential testing?
AПлан распределения общего уровня
alpha между несколькими interim analysis, чтобы контролировать Type I error.BМетод выбора метрики, которая лучше всего реагирует на изменение
CПравило, которое запрещает смотреть на результаты до конца эксперимента
DПлан распределения общего уровня
alpha между несколькими interim analysis, чтобы контролировать Type I errorПравильный ответ.
Alpha spending распределяет общий риск Type I error между несколькими промежуточными проверками.Разбор
Если вы смотрите данные несколько раз, каждая проверка «тратит» часть общего уровня alpha. Alpha spending задаёт, сколько alpha можно использовать на каждом interim analysis, чтобы суммарно не превысить заданный alpha. Благодаря этому можно делать раннюю остановку и при этом контролировать false positive.
Проверь себя · 1/3разбор после ответа
На что в первую очередь нацелено
alpha spending?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Стейкхолдеры хотят еженедельные апдейты и возможность остановить тест раньше, если уже «всё ясно». Что лучше сделать до запуска?
- Все вопросы по «Секвенциальное тестирование» →