Заинтересованные стороны хотят еженедельные апдейты и возможность остановить тест раньше, если уже «всё ясно». Что лучше сделать до запуска?
AСмотреть результаты каждый день и остановить тест, как только впервые станет
p-value < alpha, без заранее описанных правил последовательного анализаBЗаранее описать правило остановки, расписание промежуточных проверок и использовать последовательный анализ со схемой расхода значимости
alphaCЗапустить один и тот же тест несколько раз подряд на разных неделях и выбрать самый удачный результат для финального отчёта заинтересованным сторонам
DПовысить уровень значимости
alpha до более мягкого порога, чтобы быстрее получить значимый результат и сократить время до решения о раскаткеПравильный ответ. Если нужны промежуточные решения, заранее задайте правило остановки и используйте корректный последовательный анализ.
Разбор
Ад-хок остановка по первому p-value < alpha превращает процесс в подглядывание и повышает долю ложноположительных результатов. Лучше заранее определить моменты промежуточных проверок и границы для принятия решения. Тогда схема расхода значимости распределит риск ошибки по проверкам, и ранняя остановка будет статистически корректной. Перезапуски того же теста и смягчение alpha лишь увеличивают вероятность ложного эффекта без фактического роста качества решений.
Проверь себя · 1/2разбор после ответа
Что такое
alpha spending в последовательном тестировании?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
- Что лучше всего описывает правило остановки в контексте последовательного тестирования?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?
- Что такое `alpha spending` в последовательном тестировании?
- Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →