Секвенциальное тестирование: вопросы для собеседования (часть 2)
Подглядывание в результаты теста до его окончания (peeking) завышает вероятность ложноположительного результата. Секвенциальные методы — always-valid p-values, mixture sequential probability ratio test — позволяют проверять результаты в любой момент без инфляции ошибки. На собеседовании это показывает продвинутый уровень кандидата.
Вопросы 6–10 из 20
6Что такое `alpha spending` в последовательном тестировании?
AМетод отбора единственной значимой метрики, которая лучше всего реагирует на изменение в эксперименте
BПлан распределения общего уровня `alpha` между промежуточными проверками, чтобы контролировать ошибку I рода
CПравило, запрещающее смотреть промежуточные результаты до окончания эксперимента и набора полной выборки
DСпособ автоматически увеличить размер выборки в эксперименте, если ранние результаты выглядят неубедительно
Ответ: `Alpha spending` распределяет общий риск ошибки I рода между несколькими промежуточными проверками.
Если вы смотрите данные несколько раз, каждая проверка «тратит» часть общего уровня `alpha`. `Alpha spending` задаёт, сколько `alpha` можно использовать на каждой промежуточной проверке, чтобы суммарно не превысить заданный уровень. Благодаря этому возможна ранняя остановка с контролем доли ложноположительных результатов.
Подробный разбор → 7Почему в корректном последовательном тестировании порог для ранней остановки обычно более строгий, чем в конце эксперимента?
AПотому что в начале эксперимента наблюдаемый эффект всегда заметно меньше, чем в конце, и для ранней остановки требуется более сильный сигнал
BПотому что рандомизация «заканчивается» только в финале теста, а до этого момента распределение пользователей по группам ещё не считается работающим
CПотому что метрика в контрольной группе считается позже, чем в тестовой группе, и это создаёт временной перекос между ранними и финальными результатами
DПотому что при нескольких промежуточных проверках нужно суммарно сохранить заданный уровень `alpha` и контроль ошибки I рода для всего теста
Ответ: Ранние границы делают строже, чтобы при нескольких промежуточных проверках суммарно сохранить заданный уровень `alpha` и контроль ошибки I рода.
Чем раньше вы пытаетесь остановить тест, тем выше шанс случайного всплеска метрики. Если применять одинаковый порог на каждой неделе, суммарная вероятность ложноположительного результата станет больше, чем `alpha`. Поэтому в последовательном тестировании ранние границы требуют более сильного сигнала, а к концу становятся ближе к обычному уровню.
Подробный разбор → 8В тесте есть корректная рандомизация, но менеджер каждый день проверяет `p-value` и останавливает при `p-value < alpha`. Почему проблема всё равно остаётся?
AРандомизация делает любые промежуточные проверки безопасными по умолчанию, поэтому ежедневный мониторинг `p-value` не создаёт никаких рисков для интерпретации результата
BЕдинственная проблема ежедневных проверок в том, что размер контрольной и тестовой групп может оказаться не ровно 50 на 50 в каждый момент времени
CРандомизация не исправляет нарушение правила остановки: подглядывание с правом досрочной остановки повышает вероятность ошибки I рода и долю ложноположительных результатов
DПроблема в том, что `lift` нельзя считать на рандомизированных данных, потому что случайное распределение само по себе искажает оценку эффекта
Ответ: Рандомизация делает группы сопоставимыми, но не исправляет нарушение правила остановки: досрочная остановка повышает ошибку I рода.
Случайное распределение делает группы сопоставимыми и поддерживает причинный вывод. Но если правило остановки зависит от промежуточных результатов, стандартная проверка больше не гарантирует риск ложноположительного результата на уровне `alpha`. Поэтому при частых проверках нужен либо фиксированный горизонт наблюдения, либо последовательное тестирование с распределением `alpha`. Варианты про 50/50 и про невозможность считать `lift` ошибочны: рандомизация не запрещает оценивать эффект, она лишь не защищает от подглядывания.
Подробный разбор → 9Команда говорит: будем крутить эксперимент, пока не получим `p-value < alpha`, и тогда сразу запустим в прод. Что лучше всего ответить?
AЭто отличная стратегия: при свободной длительности эксперимента вероятность ложноположительного вывода всегда падает с ростом числа наблюдений
BЭто допустимо, если `alpha` заранее выбрали маленьким, например `alpha = 0.01`, тогда подсматривание в данные перестаёт влиять на корректность вывода
CЭто нарушение правила остановки: нужен фиксированный горизонт наблюдений или заранее спланированный последовательный тест с контролем расхода `alpha`
DЭто работает только если тестовая группа лучше контрольной, тогда вероятность ошибки I рода якобы не растёт и подсматривать в `p-value` безопасно
Ответ: «Крутить до `p-value < alpha`» — это подсматривание в данные с произвольной остановкой; оно повышает вероятность ложноположительного вывода, нужен фиксированный горизонт или последовательный дизайн.
Такой подход подгоняет правило принятия решения под данные и ломает интерпретацию значимости. В результате вы можете принять шум за эффект и переоценить размер эффекта при остановке на удачный момент. Безопасная альтернатива — фиксированный горизонт наблюдений или корректный последовательный тест с заранее заданным расходом `alpha`. Уменьшение `alpha` или ограничение случая «тест лучше контроля» проблему не решает.
Подробный разбор → 10На что в первую очередь нацелена процедура `alpha spending`?
AУдержать суммарную вероятность ошибки I рода на уровне заданного `alpha` при нескольких промежуточных проверках.
BОбеспечить строго равное 50/50 распределение пользователей между контрольной и тестовой группой на всём горизонте теста.
CГарантировать, что наблюдаемый прирост метрики окажется положительным, если эксперимент будет идти достаточно долго.
DПоднять мощность критерия до значения 1 при любом размере эффекта и любом размере выборки в эксперименте.
Ответ: `Alpha spending` удерживает суммарную вероятность ошибки I рода на уровне заданного `alpha` при нескольких промежуточных проверках.
При каждой промежуточной проверке вы расходуете часть «бюджета» `alpha`. Если бюджет распределён заранее, суммарная вероятность ложноположительного решения по нулевой гипотезе остаётся под контролем. Это позволяет делать несколько промежуточных просмотров без превращения процесса в подгонку под значимость.
Подробный разбор →