Почему стратегия «остановили, как только стало значимо» часто приводит к завышенному effect size и lift?

AПотому что effect size при ранней остановке всегда становится несмещённым
BПотому что lift фиксируется ровно на истинном значении и больше не меняется
CПотому что при optional stopping вы чаще останавливаетесь на шумовом всплеске, и оценка эффекта систематически завышается
DПотому что randomization делает раннюю остановку невозможной
Правильный ответ. При optional stopping вы чаще фиксируете шумовой пик (selection on significance), поэтому оценка effect size/lift склонна завышаться.

Разбор

Если эксперимент останавливают в момент, когда метрика случайно оказалась выше обычного, именно это значение попадает в отчёт. При продолжении теста эффект часто «усредняется» и становится меньше. Поэтому без корректного sequential testing ранняя остановка может создать иллюзию большого lift и привести к неверным решениям.

Проверь себя · 1/3разбор после ответа
У вас нет инфраструктуры для sequential testing, но команда хочет минимизировать риски от peeking. Какой подход самый безопасный и простой?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»