Секвенциальное тестирование: вопросы для собеседования (часть 3)
Подглядывание в результаты теста до его окончания (peeking) завышает вероятность ложноположительного результата. Секвенциальные методы — always-valid p-values, mixture sequential probability ratio test — позволяют проверять результаты в любой момент без инфляции ошибки. На собеседовании это показывает продвинутый уровень кандидата.
Вопросы 11–15 из 20
11В чём ключевое отличие «просто `peeking` в дашборд» от корректного `sequential testing`?
A`Sequential testing` запрещает смотреть результаты до конца, а `peeking` это любой просмотр промежуточных данных без ограничений
B`Sequential testing` заранее задаёт правило остановки и границы (например, через `alpha spending`), а `peeking` обычно не имеет корректных правил остановки
C`Peeking` требует больше трафика, чем `sequential testing`, поэтому `sequential testing` всегда даёт более узкие доверительные интервалы
D`Sequential testing` работает только без рандомизации, иначе дополнительные правила контроля ошибки первого рода становятся не нужны
Ответ: В `sequential testing` заранее фиксируют промежуточные проверки, правило остановки и распределение `alpha`; при обычном `peeking` этих правил нет.
В `sequential testing` заранее фиксируют моменты промежуточных проверок, критерии остановки и то, как расходуется `alpha`. Благодаря этому сохраняется контроль ошибки первого рода. При обычном `peeking` команда часто останавливается при первом «значимом» дне, что превращается в произвольную остановку и раздувает риск ложного срабатывания. Поэтому ключевое — наличие заранее объявленного правила, а не сам факт промежуточного просмотра.
Подробный разбор → 12Что обязательно зафиксировать до старта, если вы допускаете раннюю остановку в рамках последовательного анализа?
AПравило остановки, расписание промежуточных проверок, основную метрику и уровень значимости `alpha` для последовательного анализа
BЦвет графиков в дашборде с `p-value`, частоту созвонов команды и шаблон письма для рассылки результатов заинтересованным сторонам
CИмена владельцев каждой метрики, стиль презентации итогового результата и список слайдов с `MDE` для финального обсуждения
DЗаранее предсказанное значение прироста основной метрики, чтобы потом сравнить его с фактическим `delta` и оценить точность гипотезы
Ответ: Для корректного последовательного анализа нужно заранее зафиксировать правило остановки, точки промежуточных проверок и целевую метрику с уровнем `alpha`.
Когда план фиксируется до запуска, вы не подгоняете правила под шум. Это защищает от подглядывания в стиле «остановили, как только стало значимо». Кроме того, заранее понятно, как интерпретировать `p-value` и как распределяется уровень `alpha` через схему расхода значимости. Цвета графиков, имена владельцев и предсказанный заранее прирост к статистической корректности процедуры отношения не имеют.
Подробный разбор → 13В эксперименте вы делали ежедневные проверки. На 3-й день получили `p-value < alpha` и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
AСработала случайная флуктуация, а ежедневные подглядывания и опциональная остановка «поймали» шум как эффект
BРандомизация сломалась ровно на 4-й день, и поэтому значимость метрики поменяла знак при продолжении
CКоманда перепутала контроль и тестовую группу местами, поэтому значимость на больших данных пропала
DПоправка `alpha spending` автоматически уменьшила наблюдаемый размер эффекта задним числом и сняла значимость
Ответ: Скорее всего это случайная флуктуация: подглядывания и ранняя остановка зафиксировали шум, который ушёл бы при продолжении.
В начале теста дисперсия высока, и метрика может случайно отклониться. Если остановить эксперимент в момент такого отклонения, вы фиксируете шум как реальный размер эффекта. При продолжении теста результат обычно усредняется и становится более стабильным. Поэтому важно использовать фиксированный горизонт или корректные границы последовательного тестирования.
Подробный разбор → 14Почему стратегия «остановили, как только стало значимо» часто приводит к завышенному размеру эффекта и наблюдаемому приросту?
AПотому что размер эффекта при ранней остановке всегда становится несмещённой оценкой истинного значения по выборке
BПотому что наблюдаемый прирост фиксируется ровно на истинном значении и больше не меняется при дальнейшем наборе данных
CПотому что при многократных подглядываниях вы чаще останавливаетесь на шумовом всплеске, и оценка эффекта систематически завышается
DПотому что рандомизация при ранней остановке делает дальнейший набор данных невозможным и отменяет результат теста
Ответ: При многократных подглядываниях вы чаще фиксируете шумовой пик, поэтому оценка размера эффекта склонна завышаться.
Если эксперимент останавливают в момент, когда метрика случайно оказалась выше обычного, именно это значение попадает в отчёт. При продолжении теста эффект часто «усредняется» и становится меньше. Поэтому без корректных процедур последовательного тестирования ранняя остановка может создать иллюзию большого прироста и привести к неверным решениям.
Подробный разбор → 15Вы заранее знаете, что будете делать 5 проверок одной метрики. Какой простой консервативный способ контролировать общий уровень `alpha` можно применить, если полноценного процедурного контроля для последовательных проверок нет?
AУвеличить общий уровень `alpha` в 5 раз, чтобы компенсировать частые проверки и не пропустить значимый эффект из-за слишком строгого порога.
BРазделить трафик на 5 равных частей и поочерёдно запускать одно и то же сравнение групп, считая каждое сравнение независимым.
CИспользовать более строгий порог `alpha / 5` для каждой проверки, чтобы общий риск ложноположительного вывода остался около исходного `alpha`.
DСмотреть `p-value` только по выходным дням, считая, что редкие проверки автоматически защищают от роста вероятности ошибки I рода.
Ответ: Консервативный способ — использовать порог `alpha / k` на каждую из `k` проверок (поправка Бонферрони), чтобы ограничить общий риск ошибки I рода.
Множественные просмотры похожи на множественные проверки, поэтому нужно компенсировать рост вероятности случайной значимости. Порог `alpha / 5` делает каждую проверку строже и помогает удержать общий риск ошибки I рода. Это может быть слишком консервативно, поэтому в продвинутых дизайнах используют процедуры распределения уровня значимости по проверкам с учётом их числа и времени. Но как простая страховка поправка Бонферрони работает почти всегда.
Подробный разбор →