Команда хочет ежедневно смотреть результаты, чтобы понимать, что «тест в порядке», но решения по эффекту принимать только по финалу. Как лучше организовать процесс, чтобы не скатиться в peeking с optional stopping?

Ежедневные дашборды полезны для контроля инцидентов и качества данных, но не должны менять решение по эффекту. Если вы начинаете останавливать тест по «красивому дню», вы получаете optional stopping и рост false positive. Поэтому фиксируйте fixed horizon или используйте sequential testing с alpha spending, а промежуточные просмотры делайте только в рамках заранее описанных правил.