Команда запускает A/B test и каждый день смотрит p-value; как только видит p-value < alpha, сразу завершает и объявляет победу. В чём главный риск такого peeking?
AВырастает риск
Type I error (false positive), потому что stopping rule зависит от данных и нет alpha spending.BСнижается
power, потому что любое число проверок всегда делает тест слабееC
randomization перестаёт работать, поэтому группы становятся несопоставимымиD
lift автоматически становится отрицательным из-за частых проверокПравильный ответ.
Peeking с остановкой по p-value без корректировки повышает риск false positive.Разбор
Обычная интерпретация p-value при уровне alpha предполагает заранее фиксированный план анализа. Если вы многократно проверяете результат и останавливаетесь при первом p-value < alpha, вы фактически делаете несколько попыток «поймать» значимость. Это увеличивает Type I error, поэтому нужен fixed horizon или корректный sequential testing с alpha spending.
Проверь себя · 1/3разбор после ответа
Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала
fixed horizon: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого peeking на Type I error для основной проверки?Ещё вопросы по теме «Секвенциальное тестирование»
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Стейкхолдеры хотят еженедельные апдейты и возможность остановить тест раньше, если уже «всё ясно». Что лучше сделать до запуска?
- Все вопросы по «Секвенциальное тестирование» →