Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?
AОшибка первого рода неизбежно сильно растёт в любом случае, даже если решение принимают только в самом конце эксперимента
BОшибка первого рода не меняется только если отключить рандомизацию и раздать варианты пользователям вручную по списку
CНужно обязательно применять последовательные поправки, даже если досрочная остановка теста никогда не используется командой
DЕсли действительно соблюдён фиксированный горизонт и план эксперимента не меняют по ходу, то контроль ошибки первого рода сохраняется
Правильный ответ. Если решение строго принимают только в конце по заранее заданному горизонту и план не меняют, то формальный контроль ошибки первого рода для основной проверки сохраняется.
Разбор
Проблема появляется, когда подсматривание влияет на правило остановки или на выбор метрик, сегментов и длительности теста. Если вы просто наблюдаете, но вывод делаете строго по финальной проверке в заранее заданный момент, то обычная интерпретация p-value остаётся корректной. На практике стоит учитывать человеческий фактор: промежуточные цифры часто провоцируют необоснованную досрочную остановку.
Проверь себя · 1/2разбор после ответа
Что такое
alpha spending в последовательном тестировании?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
- Что лучше всего описывает правило остановки в контексте последовательного тестирования?
- Что такое `alpha spending` в последовательном тестировании?
- Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Заинтересованные стороны хотят еженедельные апдейты и возможность остановить тест раньше, если уже «всё ясно». Что лучше сделать до запуска?
- Все вопросы по «Секвенциальное тестирование» →