Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?

AПотому что в начале эксперимента наблюдаемый эффект всегда заметно меньше, чем в конце, и для ранней остановки требуется более сильный сигнал
BПотому что рандомизация «заканчивается» только в финале теста, а до этого момента распределение пользователей по группам ещё не считается работающим
CПотому что метрика в контрольной группе считается позже, чем в тестовой группе, и это создаёт временной перекос между ранними и финальными результатами
DПотому что при нескольких промежуточных проверках нужно суммарно сохранить заданный уровень alpha и контроль ошибки I рода для всего теста
Правильный ответ. Ранние границы делают строже, чтобы при нескольких промежуточных проверках суммарно сохранить заданный уровень alpha и контроль ошибки I рода.

Разбор

Чем раньше вы пытаетесь остановить тест, тем выше шанс случайного всплеска метрики. Если применять одинаковый порог на каждой неделе, суммарная вероятность ложноположительного результата станет больше, чем alpha. Поэтому в последовательном тестировании ранние границы требуют более сильного сигнала, а к концу становятся ближе к обычному уровню.

Проверь себя · 1/2разбор после ответа
Что такое alpha spending в последовательном тестировании?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»