В чём ключевое отличие «просто peeking в дашборд» от корректного sequential testing?
A
Sequential testing запрещает смотреть результаты до конца, а peeking разрешаетB
Sequential testing заранее задаёт stopping rule и границы (например, через alpha spending), а peeking обычно не имеет корректных правил остановкиC
Peeking требует больше трафика, чем sequential testing, поэтому он хужеD
Sequential testing работает только без randomization, иначе он не нуженПравильный ответ. В
sequential testing заранее фиксируют interim analysis, stopping rule и распределение alpha; при обычном peeking этих правил нет.Разбор
В sequential testing заранее фиксируют моменты interim analysis, критерии остановки и то, как расходуется alpha. Благодаря этому сохраняется контроль Type I error. При обычном peeking команда часто останавливается при первом «значимом» дне, что превращается в optional stopping.
Проверь себя · 1/3разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили
p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →