Команда говорит: будем крутить эксперимент, пока не получим p-value < alpha, и тогда сразу запустим в прод. Что лучше всего ответить?

AЭто отличная стратегия: при свободной длительности эксперимента вероятность ложноположительного вывода всегда падает с ростом числа наблюдений
BЭто допустимо, если alpha заранее выбрали маленьким, например alpha = 0.01, тогда подсматривание в данные перестаёт влиять на корректность вывода
CЭто нарушение правила остановки: нужен фиксированный горизонт наблюдений или заранее спланированный последовательный тест с контролем расхода alpha
DЭто работает только если тестовая группа лучше контрольной, тогда вероятность ошибки I рода якобы не растёт и подсматривать в p-value безопасно
Правильный ответ. «Крутить до p-value < alpha» — это подсматривание в данные с произвольной остановкой; оно повышает вероятность ложноположительного вывода, нужен фиксированный горизонт или последовательный дизайн.

Разбор

Такой подход подгоняет правило принятия решения под данные и ломает интерпретацию значимости. В результате вы можете принять шум за эффект и переоценить размер эффекта при остановке на удачный момент. Безопасная альтернатива — фиксированный горизонт наблюдений или корректный последовательный тест с заранее заданным расходом alpha. Уменьшение alpha или ограничение случая «тест лучше контроля» проблему не решает.

Проверь себя · 1/2разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»