В чём ключевое отличие «просто peeking в дашборд» от корректного sequential testing?
A
Sequential testing запрещает смотреть результаты до конца, а peeking это любой просмотр промежуточных данных без ограниченийB
Sequential testing заранее задаёт правило остановки и границы (например, через alpha spending), а peeking обычно не имеет корректных правил остановкиC
Peeking требует больше трафика, чем sequential testing, поэтому sequential testing всегда даёт более узкие доверительные интервалыD
Sequential testing работает только без рандомизации, иначе дополнительные правила контроля ошибки первого рода становятся не нужныПравильный ответ. В
sequential testing заранее фиксируют промежуточные проверки, правило остановки и распределение alpha; при обычном peeking этих правил нет.Разбор
В sequential testing заранее фиксируют моменты промежуточных проверок, критерии остановки и то, как расходуется alpha. Благодаря этому сохраняется контроль ошибки первого рода. При обычном peeking команда часто останавливается при первом «значимом» дне, что превращается в произвольную остановку и раздувает риск ложного срабатывания. Поэтому ключевое — наличие заранее объявленного правила, а не сам факт промежуточного просмотра.
Проверь себя · 1/2разбор после ответа
Что такое
alpha spending в последовательном тестировании?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
- Что лучше всего описывает правило остановки в контексте последовательного тестирования?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?
- Что такое `alpha spending` в последовательном тестировании?
- Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →