Что обязательно зафиксировать до старта, если вы допускаете раннюю остановку в рамках последовательного анализа?
AПравило остановки, расписание промежуточных проверок, основную метрику и уровень значимости
alpha для последовательного анализаBЦвет графиков в дашборде с
p-value, частоту созвонов команды и шаблон письма для рассылки результатов заинтересованным сторонамCИмена владельцев каждой метрики, стиль презентации итогового результата и список слайдов с
MDE для финального обсужденияDЗаранее предсказанное значение прироста основной метрики, чтобы потом сравнить его с фактическим
delta и оценить точность гипотезыПравильный ответ. Для корректного последовательного анализа нужно заранее зафиксировать правило остановки, точки промежуточных проверок и целевую метрику с уровнем
alpha.Разбор
Когда план фиксируется до запуска, вы не подгоняете правила под шум. Это защищает от подглядывания в стиле «остановили, как только стало значимо». Кроме того, заранее понятно, как интерпретировать p-value и как распределяется уровень alpha через схему расхода значимости. Цвета графиков, имена владельцев и предсказанный заранее прирост к статистической корректности процедуры отношения не имеют.
Проверь себя · 1/2разбор после ответа
Что такое
alpha spending в последовательном тестировании?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
- Что лучше всего описывает правило остановки в контексте последовательного тестирования?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?
- Что такое `alpha spending` в последовательном тестировании?
- Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →