Что такое alpha spending в последовательном тестировании?

AМетод отбора единственной значимой метрики, которая лучше всего реагирует на изменение в эксперименте
BПлан распределения общего уровня alpha между промежуточными проверками, чтобы контролировать ошибку I рода
CПравило, запрещающее смотреть промежуточные результаты до окончания эксперимента и набора полной выборки
DСпособ автоматически увеличить размер выборки в эксперименте, если ранние результаты выглядят неубедительно
Правильный ответ. Alpha spending распределяет общий риск ошибки I рода между несколькими промежуточными проверками.

Разбор

Если вы смотрите данные несколько раз, каждая проверка «тратит» часть общего уровня alpha. Alpha spending задаёт, сколько alpha можно использовать на каждой промежуточной проверке, чтобы суммарно не превысить заданный уровень. Благодаря этому возможна ранняя остановка с контролем доли ложноположительных результатов.

Проверь себя · 1/2разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»