Почему обычный p-value становится некорректным, если вы остановили эксперимент «как только p-value < alpha»?
AПотому что рандомизация перестаёт работать после первой недели наблюдений и распределение пользователей по группам становится несбалансированным
BПотому что
p-value рассчитан на фиксированный план, а при остановке по сигналу распределение меняется и растёт ошибка I родаCПотому что
p-value нельзя считать до тех пор, пока эксперимент не получил полные 100% запланированного трафика на всех платформахDПотому что
p-value равен наблюдаемому приросту метрики, а наблюдаемый прирост естественным образом меняется в каждый день экспериментаПравильный ответ. Обычный
p-value рассчитан под фиксированный план; при остановке по сигналу он становится слишком оптимистичным и раздувает ошибку I рода.Разбор
Классическая проверка устроена так, что при H0 вероятность получить p-value < alpha равна alpha, если проверка делается один раз по плану. Если же вы проверяете много раз и останавливаетесь при первом «успехе», шанс случайно получить значимость растёт. Поэтому нужны методы последовательного тестирования или отказ от остановки по промежуточным значениям p-value.
Проверь себя · 1/2разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили
p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?Ещё вопросы по теме «Секвенциальное тестирование»
- Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
- Что лучше всего описывает правило остановки в контексте последовательного тестирования?
- Аналитик смотрит промежуточные результаты каждый день, но команда заранее зафиксировала длительность: тест идёт 14 дней, и решение принимают только по финальному анализу в конце. Что наиболее корректно про влияние такого подсматривания на ошибку первого рода для основной проверки?
- Что такое `alpha spending` в последовательном тестировании?
- Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
- Все вопросы по «Секвенциальное тестирование» →