Команда запускает A/B test и каждый день смотрит p-value; как только видит p-value < alpha, сразу завершает и объявляет победу. В чём главный риск такого peeking?

AВырастает риск Type I error (false positive), потому что stopping rule зависит от данных и нет alpha spending.
BСнижается power, потому что любое число проверок всегда делает тест слабее
Crandomization перестаёт работать, поэтому группы становятся несопоставимыми
Dlift автоматически становится отрицательным из-за частых проверок
Правильный ответ. Peeking с остановкой по p-value без корректировки повышает риск false positive.

Разбор

Обычная интерпретация p-value при уровне alpha предполагает заранее фиксированный план анализа. Если вы многократно проверяете результат и останавливаетесь при первом p-value < alpha, вы фактически делаете несколько попыток «поймать» значимость. Это увеличивает Type I error, поэтому нужен fixed horizon или корректный sequential testing с alpha spending.

Проверь себя · 1/3разбор после ответа
Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала fixed horizon: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого peeking на Type I error для основной проверки?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»