Перед запуском вы хотите оценить потенциальный выигрыш от CUPED. Что вы проверите в первую очередь?
CUPED, стратификация, контрольные ковариаты — техники снижения дисперсии позволяют обнаруживать меньшие эффекты при том же размере выборки. На собеседовании спрашивают, как CUPED использует предэкспериментальные данные и на сколько процентов можно сократить дисперсию. Это тема для сильных кандидатов, которые хотят выделиться.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1В каком случае применение `CUPED` чаще всего почти не даст снижения дисперсии целевой метрики?
AКогда ковариата на предпериоде почти не связана с целевой метрикой на постпериоде (например, корреляция близка к нулю)
BКогда выборка большая, потому что `CUPED` работает только на малых выборках и теряет эффект на больших
CКогда метрика бинарная, потому что `CUPED` неприменим к долям и работает исключительно с непрерывными метриками
DКогда вы используете стратификацию, потому что она полностью заменяет `CUPED` и делает его избыточным
Ответ: Если ковариата с предпериода почти не связана с метрикой на постпериоде, `CUPED` почти не снижает дисперсию.
`CUPED` уменьшает шум за счёт объяснения части вариативности через ковариату с предпериода. Если ковариата почти ничего не предсказывает, то и вычитать нечего, поэтому дисперсия почти не меняется. В таком случае усложнение расчётов может не окупиться. `CUPED` применим и к большим выборкам, и к бинарным метрикам, а стратификация и `CUPED` — взаимодополняющие техники, а не замена друг другу.
2Зачем в `A/B` тестах применяют методы снижения дисперсии вроде `CUPED`?
AЧтобы искусственно увеличить наблюдаемый эффект, вычитая шум только из тестовой группы и завышая итоговую разницу метрики
BЧтобы гарантировать `p-value` ниже выбранного уровня значимости в каждом запуске и автоматически признавать тест успешным
CЧтобы уменьшить дисперсию метрики и сузить доверительный интервал при том же трафике, не меняя ожидаемое значение эффекта
DЧтобы сделать эксперимент нечувствительным к проблемам `SRM` и автоматически выровнять размеры тестовой и контрольной групп
Ответ: `CUPED` снижает шум метрики и сужает доверительный интервал при той же выборке, не добавляя смещения при корректном применении.
Идея в том, чтобы использовать дополнительную информацию (например, ковариату из предтестового периода), которая объясняет часть разброса исхода. Тогда стандартная ошибка уменьшается, а доверительный интервал сужается, что позволяет быстрее получить устойчивый вывод. При корректном применении `CUPED` не вносит смещение: метод снижает дисперсию, но не меняет ожидаемое значение эффекта. Завышение эффекта или гарантированное снижение `p-value` — это уже не снижение дисперсии, а подтасовка.
3Можно ли одновременно использовать стратификацию при рандомизации и `CUPED` на этапе анализа?
AНет: после стратификации предтестовые данные уже учтены при рандомизации, поэтому `CUPED` не даёт дополнительного снижения дисперсии
BДа, но только если ковариата для `CUPED` и переменная стратификации совпадают, иначе они дублируют поправку и дисперсия растёт
CДа, методы совместимы: стратификация балансирует группы при рандомизации, а `CUPED` снижает дисперсию через предтестовую ковариату
DДа, но при совместном применении формулы размера выборки занижают `MDE`, и итоговая мощность теста оказывается завышенной
Ответ: Да: стратификация работает на дизайне (баланс групп), а `CUPED` — на анализе (снижение дисперсии через предтестовую ковариату).
Стратификация влияет на дизайн эксперимента: она снижает риск дисбаланса групп по важным факторам ещё до запуска. `CUPED` влияет на анализ: использует предтестовую ковариату, не затронутую воздействием, чтобы уменьшить дисперсию оценки эффекта. В комбинации методы часто дают более стабильные результаты при условии, что их применяют последовательно и заранее планируют. Совпадение переменной стратификации и ковариаты допустимо, но обычно не нужно: они решают разные задачи и хорошо работают вместе.
4Что означает блокирование (blocking) в дизайне `A/B`-теста?
AРазбить пользователей на блоки до эксперимента по важному признаку (например, платформе) и выполнить рандомизацию внутри каждого блока
BОстанавливать эксперимент при первом наблюдении `p-value` меньше уровня значимости `alpha`, не дожидаясь набора плановой выборки
CНазначать варианты по очереди: A, B, A, B без учёта признаков и размера выборки, полагаясь на естественное чередование
DАнализировать только пользователей, у которых платформа осталась стабильной, чтобы устранить шум от смены устройства в течение эксперимента
Ответ: Блокирование снижает дисперсию и риск дисбаланса, выполняя рандомизацию внутри заранее заданных блоков.
Если платформа или страна сильно влияют на метрику, случайный перекос их долей между тестовой и контрольной группами добавляет шум. Блокирование (или стратификация) делает так, что внутри каждого блока доли вариантов примерно одинаковы. Это уменьшает вариативность итоговой оценки и повышает мощность. Блоки нужно определять до запуска и не строить на поведении после старта.
5Какой признак наиболее удачен для стратификации в `A/B`-тесте метрики конверсии, если известно, что тип платформы сильно влияет на базовый уровень?
AСтратификация по случайному числу для дополнительной балансировки независимо от заранее известных факторов влияния
BСтратификация по платформе iOS/Android как предтестовому фактору, заметно связанному с базовым уровнем конверсии
CСтратификация по флагу клика на новую кнопку из посттестового периода для усиления снижения дисперсии метрики
DСтратификация по сырому `p-value` метрик из прошлых тестов на этой же аудитории как индикатору будущего эффекта
Ответ: Для стратификации подходят предэкспериментальные факторы, которые заметно влияют на метрику и не зависят от варианта.
Хороший признак для стратификации объясняет различия пользователей и может уменьшить шум, но не должен зависеть от воздействия. Платформа часто влияет на базовый уровень конверсии, поэтому баланс по ней снижает риск случайного перекоса. Нельзя строить стратификацию по постпериодному поведению, потому что это приводит к утечке информации и может внести смещение оценки.