В эксперименте может вырасти crash_rate, поэтому команда хочет иметь возможность остановить тест при ухудшении, не повышая долю ложноположительных по основной метрике. Что лучше сделать?

Если останавливать тест по «ощущениям», вы получите неуправляемое число ложных тревог. Лучше заранее определить, какие защитные метрики мониторим и при каких условиях выключаем тестовую группу. Для основной метрики используйте фиксированный горизонт или распределение alpha в последовательном тестировании, чтобы не наращивать ошибку I рода. Полный перевод трафика и игнорирование crash_rate лишают команду контроля за рисками.