Что лучше всего описывает stopping rule в контексте sequential testing?
AЭто правило, по которому распределяют пользователей между
control и treatmentBЭто заранее зафиксированный критерий, когда останавливаем тест и как принимаем решение по
H0CЭто способ посчитать
lift без данных, используя прошлые тестыDЭто решение остановить тест без заранее зафиксированных критериев и правил интерпретации.
Правильный ответ. Правильный
stopping rule заранее определяет условия остановки и сохраняет корректность вывода по H0.Разбор
Если команда планирует промежуточные просмотры, нужно до запуска зафиксировать частоту interim analysis и условия остановки. Это может быть остановка по границам для p-value или по порогу эффекта, но правила должны быть заранее. Так снижается риск peeking и переобучение на шуме, а alpha spending помогает контролировать Type I error.
Проверь себя · 1/3разбор после ответа
Что лучше всего описывает
stopping rule в контексте sequential testing?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Стейкхолдеры хотят еженедельные апдейты и возможность остановить тест раньше, если уже «всё ясно». Что лучше сделать до запуска?
- Все вопросы по «Секвенциальное тестирование» →