У вас нет инфраструктуры для последовательного тестирования, но команда хочет минимизировать риски от подглядывания в промежуточные результаты. Какой подход самый безопасный и простой?

AЗаранее зафиксировать длительность теста и делать один финальный анализ, не останавливая тест по промежуточным p-value
BПоставить alpha = 0.2, чтобы быстрее увидеть значимость и не подглядывать так часто в промежуточные результаты p-value
CСмотреть метрику каждые 2 часа и останавливать тест при первом улучшении lift сверх 1% по основной метрике
DЗапускать тест только на выходных и принимать решение по первому статистически значимому p-value за смену
Правильный ответ. Самый простой способ избежать подглядывания — фиксированная длительность теста и один финальный анализ; ежедневно можно мониторить только страховочные метрики и sanity-checkи.

Разбор

Вы заранее задаёте длительность теста и критерий решения, а затем оцениваете результат один раз в конце. Это сохраняет стандартную интерпретацию p-value и контроль ошибки I рода. Если нужен ежедневный контроль качества, можно мониторить страховочные метрики, но не менять решение по основной метрике до финала.

Проверь себя · 1/2разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»