Если вы заранее знаете, что будете делать 5 проверок одной метрики, какой простой консервативный способ контролировать общий alpha можно использовать, если нет полноценного alpha spending?
AУвеличить
alpha в 5 раз, чтобы компенсировать частые проверкиBРазделить трафик на 5 частей и запускать один и тот же
A/B test по очередиCИспользовать более строгий порог
alpha / 5 для каждой проверкиDСмотреть
p-value только по выходным, тогда Type I error не растётПравильный ответ. Консервативный способ: использовать порог
alpha / k на каждую из k проверок (Bonferroni), чтобы ограничить общий Type I error.Разбор
Множественные просмотры похожи на множественные проверки, поэтому нужно компенсировать рост шанса случайной значимости. Порог alpha / 5 делает каждую проверку строже и помогает удержать общий риск ошибки первого рода. Это может быть слишком консервативно, поэтому в продвинутых настройках используют alpha spending в sequential testing.
Проверь себя · 1/3разбор после ответа
Что лучше всего описывает
stopping rule в контексте sequential testing?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →