На что в первую очередь нацелена процедура alpha spending?
AУдержать суммарную вероятность ошибки I рода на уровне заданного
alpha при нескольких промежуточных проверках.BОбеспечить строго равное 50/50 распределение пользователей между контрольной и тестовой группой на всём горизонте теста.
CГарантировать, что наблюдаемый прирост метрики окажется положительным, если эксперимент будет идти достаточно долго.
DПоднять мощность критерия до значения 1 при любом размере эффекта и любом размере выборки в эксперименте.
Правильный ответ.
Alpha spending удерживает суммарную вероятность ошибки I рода на уровне заданного alpha при нескольких промежуточных проверках.Разбор
При каждой промежуточной проверке вы расходуете часть «бюджета» alpha. Если бюджет распределён заранее, суммарная вероятность ложноположительного решения по нулевой гипотезе остаётся под контролем. Это позволяет делать несколько промежуточных просмотров без превращения процесса в подгонку под значимость.
Проверь себя · 1/2разбор после ответа
Что такое
alpha spending в последовательном тестировании?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
- Что лучше всего описывает правило остановки в контексте последовательного тестирования?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?
- Что такое `alpha spending` в последовательном тестировании?
- Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →