На что в первую очередь нацелено alpha spending?
AНа удержание суммарного
Type I error на уровне заданного alpha при нескольких interim analysisBНа обеспечение строго 50/50 распределения пользователей между
control и treatmentCНа гарантию, что
lift будет положительным при достаточном времениDНа увеличение
power до power = 1 независимо от эффектаПравильный ответ.
Alpha spending удерживает суммарный Type I error на уровне заданного alpha при нескольких проверках.Разбор
При каждом interim analysis вы используете часть «бюджета» alpha. Если бюджет распределён заранее, вероятность ложноположительного решения по H0 остаётся контролируемой. Это позволяет делать несколько просмотров без превращения процесса в p-hacking.
Проверь себя · 1/3разбор после ответа
Что обязательно зафиксировать до старта, если вы допускаете раннюю остановку в рамках
sequential testing?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →