В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
Подглядывание в результаты теста до его окончания (peeking) завышает вероятность ложноположительного результата. Секвенциальные методы — always-valid p-values, mixture sequential probability ratio test — позволяют проверять результаты в любой момент без инфляции ошибки. На собеседовании это показывает продвинутый уровень кандидата.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1У вас нет инфраструктуры для последовательного тестирования, но команда хочет минимизировать риски от подглядывания в промежуточные результаты. Какой подход самый безопасный и простой?
AЗаранее зафиксировать длительность теста и делать один финальный анализ, не останавливая тест по промежуточным `p-value`
BПоставить `alpha = 0.2`, чтобы быстрее увидеть значимость и не подглядывать так часто в промежуточные результаты `p-value`
CСмотреть метрику каждые 2 часа и останавливать тест при первом улучшении `lift` сверх 1% по основной метрике
DЗапускать тест только на выходных и принимать решение по первому статистически значимому `p-value` за смену
Ответ: Самый простой способ избежать подглядывания — фиксированная длительность теста и один финальный анализ; ежедневно можно мониторить только страховочные метрики и sanity-checkи.
Вы заранее задаёте длительность теста и критерий решения, а затем оцениваете результат один раз в конце. Это сохраняет стандартную интерпретацию `p-value` и контроль ошибки I рода. Если нужен ежедневный контроль качества, можно мониторить страховочные метрики, но не менять решение по основной метрике до финала.
2Что лучше всего описывает правило остановки в контексте последовательного тестирования?
AЗаранее зафиксированный критерий, по которому останавливают тест и принимают решение по `H0` с учётом распределения уровня значимости
BПравило, по которому распределяют пользователей между контрольной и тестовой группой во время эксперимента в равных долях
CСпособ оценить ожидаемый прирост метрики без проведения теста, используя только результаты прошлых экспериментов и исторические данные
DРешение остановить тест в любой удобный момент без заранее зафиксированных критериев и без правил интерпретации результата
Ответ: Правильное правило остановки заранее определяет условия завершения теста и сохраняет корректность вывода по `H0`.
Если команда планирует промежуточные просмотры, нужно до запуска зафиксировать частоту промежуточного анализа и условия остановки. Это может быть остановка по границам для `p-value` или по порогу эффекта, но правила должны быть заранее. Так снижается риск подглядывания и переобучения на шуме, а распределение уровня значимости помогает контролировать ошибку I рода.
3Команда хочет ежедневно смотреть результаты, чтобы понимать, что «тест в порядке», но решения по эффекту принимать только по финалу. Как лучше организовать процесс, чтобы не скатиться в подглядывание с досрочной остановкой?
AЗаранее зафиксировать горизонт и правила решения по основной метрике, а ежедневный мониторинг свести к страховочным метрикам
BКаждый день переключать целевую метрику на ту, по которой текущий прирост выглядит лучше, чтобы быстрее показать результат
CКаждый день пересчитывать пороговое значение `alpha` под наблюдаемый разброс, чтобы быстрее закрыть эксперимент по решению
DОстанавливать тест в день, когда наблюдаемый прирост достиг локального максимума за всё время наблюдения, и фиксировать его
Ответ: Разделяйте мониторинг и решение: фиксированный горизонт и правило остановки для основной метрики, а ежедневно — только защитные метрики и проверки качества данных.
Ежедневные дашборды полезны для контроля инцидентов и качества данных, но не должны менять решение по эффекту. Если вы начинаете останавливать тест по «красивому дню», вы получаете досрочную остановку и рост доли ложноположительных. Поэтому фиксируйте горизонт наблюдения или используйте последовательное тестирование с распределением `alpha`, а промежуточные просмотры делайте только в рамках заранее описанных правил. Смена целевой метрики и порога `alpha` на ходу — это явное манипулирование процедурой проверки гипотез.
4Какое утверждение лучше всего описывает практический плюс последовательного тестирования (sequential testing) по сравнению с фиксированным горизонтом (fixed horizon)?
AПоследовательное тестирование всегда даёт больший размер эффекта, поэтому его выбирают команды ради ускоренного роста ключевых метрик в эксперименте.
BПоследовательное тестирование позволяет раннюю остановку при сильном сигнале, сохраняя контроль ошибки I рода через `alpha spending` (расходование уровня значимости).
CПоследовательное тестирование убирает необходимость рандомизации, потому что достаточно смотреть динамику метрики во времени и принимать решение по тренду.
DПоследовательное тестирование гарантирует отсутствие ложноположительных срабатываний при любом количестве промежуточных просмотров данных без поправок на множественность.
Ответ: Плюс последовательного тестирования: можно остановиться раньше при сильном сигнале и при этом контролировать ошибку I рода через `alpha spending`.
При фиксированном горизонте вы обязаны дождаться конца, даже если эффект уже выглядит очевидным. В последовательном тестировании вы планируете промежуточные анализы и можете остановиться раньше по границе, заданной через `alpha spending`. Это экономит время и трафик, но требует дисциплины в правилах остановки и корректной аналитики, иначе ранняя остановка раздует долю ложноположительных результатов.
5Команда запускает A/B-тест и каждый день смотрит `p-value`; как только видит `p-value < alpha`, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?
AМощность теста снижается, потому что любое число промежуточных проверок гарантированно делает тест слабее независимо от плана анализа
BРандомизация перестаёт работать, поэтому группы становятся несопоставимыми и сравнение метрик теряет смысл при ранней остановке теста
CНаблюдаемый эффект автоматически становится отрицательным из-за частых проверок, и победитель всегда оказывается ложно проигравшим
DРастёт риск ошибки I рода (ложноположительного результата): правило остановки зависит от данных, и нет коррекции уровня значимости
Ответ: Подсматривание с остановкой по `p-value` без коррекции повышает риск ложноположительного результата.
Обычная интерпретация `p-value` при уровне `alpha` предполагает заранее зафиксированный план анализа. Если многократно проверять результат и останавливаться при первом `p-value < alpha`, фактически делается несколько попыток «поймать» значимость. Это увеличивает ошибку I рода, поэтому нужен фиксированный горизонт или последовательный тест с распределением `alpha`. Мощность сама по себе тут не падает, рандомизация остаётся валидной, а знак эффекта от подсматривания не переворачивается.