Что обязательно зафиксировать до старта, если вы допускаете раннюю остановку в рамках sequential testing?
AЦвет графиков в дашборде и частоту созвонов команды
BИмена владельцев метрик и стиль презентации результата
C
Stopping rule, расписание interim analysis, основную метрику и уровень alpha.DЗначение будущего
lift, чтобы потом сравнить с фактомПравильный ответ. Для корректного
sequential testing нужно заранее зафиксировать stopping rule, точки interim analysis и целевую метрику с уровнем alpha.Разбор
Когда план фиксируется до запуска, вы не подгоняете правила под шум. Это защищает от peeking в стиле «остановили, как только стало значимо». Кроме того, заранее понятно, как интерпретировать p-value и как распределяется alpha через alpha spending.
Проверь себя · 1/3разбор после ответа
На что в первую очередь нацелено
alpha spending?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →