Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?

AОшибка первого рода неизбежно сильно растёт в любом случае, даже если решение принимают только в самом конце эксперимента
BОшибка первого рода не меняется только если отключить рандомизацию и раздать варианты пользователям вручную по списку
CНужно обязательно применять последовательные поправки, даже если досрочная остановка теста никогда не используется командой
DЕсли действительно соблюдён фиксированный горизонт и план эксперимента не меняют по ходу, то контроль ошибки первого рода сохраняется
Правильный ответ. Если решение строго принимают только в конце по заранее заданному горизонту и план не меняют, то формальный контроль ошибки первого рода для основной проверки сохраняется.

Разбор

Проблема появляется, когда подсматривание влияет на правило остановки или на выбор метрик, сегментов и длительности теста. Если вы просто наблюдаете, но вывод делаете строго по финальной проверке в заранее заданный момент, то обычная интерпретация p-value остаётся корректной. На практике стоит учитывать человеческий фактор: промежуточные цифры часто провоцируют необоснованную досрочную остановку.

Проверь себя · 1/2разбор после ответа
Что такое alpha spending в последовательном тестировании?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»