Что лучше всего описывает правило остановки в контексте последовательного тестирования?

AЗаранее зафиксированный критерий, по которому останавливают тест и принимают решение по H0 с учётом распределения уровня значимости
BПравило, по которому распределяют пользователей между контрольной и тестовой группой во время эксперимента в равных долях
CСпособ оценить ожидаемый прирост метрики без проведения теста, используя только результаты прошлых экспериментов и исторические данные
DРешение остановить тест в любой удобный момент без заранее зафиксированных критериев и без правил интерпретации результата
Правильный ответ. Правильное правило остановки заранее определяет условия завершения теста и сохраняет корректность вывода по H0.

Разбор

Если команда планирует промежуточные просмотры, нужно до запуска зафиксировать частоту промежуточного анализа и условия остановки. Это может быть остановка по границам для p-value или по порогу эффекта, но правила должны быть заранее. Так снижается риск подглядывания и переобучения на шуме, а распределение уровня значимости помогает контролировать ошибку I рода.

Проверь себя · 1/2разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»