Снижение дисперсии и CUPED: вопросы для собеседования (часть 2)
CUPED, стратификация, контрольные ковариаты — техники снижения дисперсии позволяют обнаруживать меньшие эффекты при том же размере выборки. На собеседовании спрашивают, как CUPED использует предэкспериментальные данные и на сколько процентов можно сократить дисперсию. Это тема для сильных кандидатов, которые хотят выделиться.
Вопросы 6–10 из 20
6Вы сделали стратификацию по платформе при рандомизации A/B-теста. Какой эффект это даёт в первую очередь?
AГарантию положительного прироста основной метрики в группе B независимо от качества дизайна эксперимента и реального поведения пользователей
BБолее ровное распределение долей iOS и Android между группами A и B, что снижает дисперсию метрики и риск случайного перекоса по платформе
CАвтоматическое уменьшение уровня значимости, потому что стратификация формально делает критерий более строгим и компенсирует множественные сравнения
DПолную отмену необходимости применять методы снижения дисперсии в будущих тестах с похожим дизайном и составом аудитории
Ответ: Стратификация по важному фактору (например, платформе) выравнивает состав групп A и B и уменьшает шум и риск случайного перекоса.
Если платформа влияет на базовый уровень метрики, небольшой перекос долей iOS и Android между группами может создавать ложный прирост или скрывать настоящий эффект. Стратификация снижает этот риск, потому что баланс по платформе обеспечивается на уровне дизайна эксперимента. Это не гарантирует значимости и не отменяет `CUPED`, который снижает дисперсию через предтестовые ковариаты, и не меняет уровень значимости автоматически. Поэтому корректный ответ — про более ровный состав групп и снижение шума, а не про гарантии и автоматические корректировки.
Подробный разбор → 7В эксперименте конверсия сильно различается у новых и возвращающихся пользователей, а трафик ограничен. Какой шаг лучше всего снижает шум и риск перекоса сегментов?
AСделать стратификацию по новым и возвращающимся пользователям и раздавать варианты A и B внутри каждого слоя сегмента
BЗапустить тест без стратификации и анализировать разрезы по новым и возвращающимся уже после набора достаточного объёма
CИспользовать `CUPED` и взять конверсию из периода после теста как ковариату для коррекции основной метрики эксперимента
DПолностью исключить новых пользователей из эксперимента, чтобы автоматически уменьшить дисперсию итоговой оценки эффекта
Ответ: Стратификация по важному сегменту делает состав групп более ровным и снижает шум оценки эффекта.
Если сегменты имеют разные базовые уровни конверсии, случайный перекос долей сегментов между `A` и `B` может имитировать эффект. Стратификация обеспечивает баланс сегментов в каждой группе и часто даёт заметное снижение дисперсии. Это особенно полезно при ограниченном трафике или когда сегменты сильно различаются по поведению.
Подробный разбор → 8Какие данные нужны, чтобы применить `CUPED` в эксперименте по метрике `revenue_per_user`?
AДостаточно знать итоговый `p-value` эксперимента, `CUPED` вычисляется по нему автоматически после остановки сбора данных.
BНужно, чтобы группы имели разный размер по числу пользователей, иначе формула `CUPED` для скорректированной метрики не сработает корректно.
CНужна предэкспериментальная ковариата (до воздействия), связанная с `revenue_per_user` в постпериоде, измеренная по тем же пользователям.
DНужна только сегментация пользователей после эксперимента по результатам метрики, предэкспериментальные данные для `CUPED` не требуются.
Ответ: `CUPED` требует предэкспериментальную ковариату, измеренную до старта воздействия и коррелирующую с целевой метрикой.
Обычно в качестве ковариаты берут то, что предсказывает поведение пользователя: прошлую `revenue_per_user` или `sessions_per_user` в предпериоде. Важно, чтобы ковариата была измерена до старта воздействия и не могла измениться из-за варианта эксперимента, иначе появится систематическое смещение оценки. Если связь ковариаты с целевой метрикой слабая, выигрыш в снижении дисперсии будет небольшим, и применять `CUPED` ради него нет смысла.
Подробный разбор → 9Перед запуском вы хотите оценить потенциальный выигрыш от `CUPED`. Что вы проверите в первую очередь?
AТолько абсолютный уровень целевой метрики в группе `A` как ключевой драйвер выигрыша от `CUPED`
BТолько длительность эксперимента: `CUPED` даёт одинаковый выигрыш в любой задаче независимо от данных
CСвязь ковариаты на предпериоде с целевой метрикой на постпериоде, например через корреляцию
DБыл ли `SRM` в прошлых экспериментах на этой аудитории как условие применимости `CUPED`
Ответ: Чем выше связь ковариаты на предпериоде с исходом, тем больше снижение дисперсии от `CUPED`.
Если ковариата на предпериоде хорошо предсказывает будущую метрику, она объясняет часть разброса между пользователями. `CUPED` убирает эту предсказуемую часть, поэтому стандартная ошибка падает и нужный размер выборки уменьшается. Если связи почти нет, корректировка мало что меняет и усложнение пайплайна не оправдано. Уровень метрики в группе `A` и наличие `SRM` в прошлых тестах сами по себе не определяют пользу `CUPED`.
Подробный разбор → 10Вы выбираете окно предпериода для `CUPED`. Какое правило самое важное, чтобы избежать утечки данных между группами и смещения оценки эффекта?
AПредпериод должен пересекаться с экспериментом, чтобы связь с послепериодом была сильнее и `CUPED` забирал больше дисперсии
BПредпериод должен быть полностью до старта воздействия и считаться одинаково для всех пользователей, чтобы ковариата не зависела от варианта
CПредпериод стоит брать как можно длиннее без ограничений, даже если в него попадают нерелевантные промо-периоды и сезонные всплески
DПредпериод можно брать частично после запуска варианта, если так удобнее считать ковариату для большинства пользователей
Ответ: Главное правило: предпериод полностью до воздействия и одинаково определён для всех; иначе возможны утечка данных и смещение оценки.
Если предпериод пересекается с воздействием, ковариата начинает зависеть от варианта, и корректировка вычитает часть самого эффекта. Поэтому окно выбирают полностью перед экспериментом и считают относительно момента назначения варианта. Также важно учитывать сезонность и события, которые могут ломать стабильность связи между предпериодом и послепериодом. Чем аккуратнее определён предпериод, тем безопаснее применение `CUPED`.
Подробный разбор →