В чём ключевое отличие «просто peeking в дашборд» от корректного sequential testing?

ASequential testing запрещает смотреть результаты до конца, а peeking это любой просмотр промежуточных данных без ограничений
BSequential testing заранее задаёт правило остановки и границы (например, через alpha spending), а peeking обычно не имеет корректных правил остановки
CPeeking требует больше трафика, чем sequential testing, поэтому sequential testing всегда даёт более узкие доверительные интервалы
DSequential testing работает только без рандомизации, иначе дополнительные правила контроля ошибки первого рода становятся не нужны
Правильный ответ. В sequential testing заранее фиксируют промежуточные проверки, правило остановки и распределение alpha; при обычном peeking этих правил нет.

Разбор

В sequential testing заранее фиксируют моменты промежуточных проверок, критерии остановки и то, как расходуется alpha. Благодаря этому сохраняется контроль ошибки первого рода. При обычном peeking команда часто останавливается при первом «значимом» дне, что превращается в произвольную остановку и раздувает риск ложного срабатывания. Поэтому ключевое — наличие заранее объявленного правила, а не сам факт промежуточного просмотра.

Проверь себя · 1/2разбор после ответа
Что такое alpha spending в последовательном тестировании?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»