Какое утверждение лучше всего описывает практический плюс последовательного тестирования (sequential testing) по сравнению с фиксированным горизонтом (fixed horizon)?

AПоследовательное тестирование всегда даёт больший размер эффекта, поэтому его выбирают команды ради ускоренного роста ключевых метрик в эксперименте.
BПоследовательное тестирование позволяет раннюю остановку при сильном сигнале, сохраняя контроль ошибки I рода через alpha spending (расходование уровня значимости).
CПоследовательное тестирование убирает необходимость рандомизации, потому что достаточно смотреть динамику метрики во времени и принимать решение по тренду.
DПоследовательное тестирование гарантирует отсутствие ложноположительных срабатываний при любом количестве промежуточных просмотров данных без поправок на множественность.
Правильный ответ. Плюс последовательного тестирования: можно остановиться раньше при сильном сигнале и при этом контролировать ошибку I рода через alpha spending.

Разбор

При фиксированном горизонте вы обязаны дождаться конца, даже если эффект уже выглядит очевидным. В последовательном тестировании вы планируете промежуточные анализы и можете остановиться раньше по границе, заданной через alpha spending. Это экономит время и трафик, но требует дисциплины в правилах остановки и корректной аналитики, иначе ранняя остановка раздует долю ложноположительных результатов.

Проверь себя · 1/2разбор после ответа
Что такое alpha spending в последовательном тестировании?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»