В тесте есть корректная randomization, но менеджер каждый день проверяет p-value и останавливает при p-value < alpha. Почему проблема всё равно остаётся?
A
Randomization делает любые проверки безопасными, поэтому проблемы нетBПроблема только в том, что размер
control и treatment может быть не ровно 50/50CПроблема в том, что
lift нельзя считать на рандомизированных данныхD
Randomization не исправляет нарушение stopping rule: peeking с optional stopping повышает Type I error и false positiveПравильный ответ.
Randomization делает группы сопоставимыми, но не исправляет нарушение stopping rule: optional stopping повышает Type I error.Разбор
Случайное распределение делает группы сопоставимыми и поддерживает causal inference. Но если правило остановки зависит от промежуточных результатов, стандартная проверка больше не гарантирует риск false positive на уровне alpha. Поэтому при частых проверках нужен либо fixed horizon, либо sequential testing с alpha spending.
Проверь себя · 1/3разбор после ответа
Почему в корректном
sequential testing порог для ранней остановки обычно более строгий, чем в конце эксперимента?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает `A/B test` и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает и объявляет победу. В чём главный риск такого `peeking`?
- Что лучше всего описывает `stopping rule` в контексте `sequential testing`?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала `fixed horizon`: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого `peeking` на `Type I error` для основной проверки?
- Что такое `alpha spending` в `sequential testing`?
- Почему в корректном `sequential testing` порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →