Команда хочет ежедневно смотреть результаты, чтобы понимать, что «тест в порядке», но решения по эффекту принимать только по финалу. Как лучше организовать процесс, чтобы не скатиться в подглядывание с досрочной остановкой?

AЗаранее зафиксировать горизонт и правила решения по основной метрике, а ежедневный мониторинг свести к страховочным метрикам
BКаждый день переключать целевую метрику на ту, по которой текущий прирост выглядит лучше, чтобы быстрее показать результат
CКаждый день пересчитывать пороговое значение alpha под наблюдаемый разброс, чтобы быстрее закрыть эксперимент по решению
DОстанавливать тест в день, когда наблюдаемый прирост достиг локального максимума за всё время наблюдения, и фиксировать его
Правильный ответ. Разделяйте мониторинг и решение: фиксированный горизонт и правило остановки для основной метрики, а ежедневно — только защитные метрики и проверки качества данных.

Разбор

Ежедневные дашборды полезны для контроля инцидентов и качества данных, но не должны менять решение по эффекту. Если вы начинаете останавливать тест по «красивому дню», вы получаете досрочную остановку и рост доли ложноположительных. Поэтому фиксируйте горизонт наблюдения или используйте последовательное тестирование с распределением alpha, а промежуточные просмотры делайте только в рамках заранее описанных правил. Смена целевой метрики и порога alpha на ходу — это явное манипулирование процедурой проверки гипотез.

Проверь себя · 1/2разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»