Снижение дисперсии и CUPED: вопросы для собеседования (часть 4)
CUPED, стратификация, контрольные ковариаты — техники снижения дисперсии позволяют обнаруживать меньшие эффекты при том же размере выборки. На собеседовании спрашивают, как CUPED использует предэкспериментальные данные и на сколько процентов можно сократить дисперсию. Это тема для сильных кандидатов, которые хотят выделиться.
Вопросы 16–20 из 20
16Вы посчитали скорректированную метрику через `CUPED` (Controlled-experiment Using Pre-Experiment Data). Как корректно строить доверительный интервал и проверять эффект?
AМожно оставить старый доверительный интервал по исходной метрике, ведь среднее формально не изменилось после поправки.
BДостаточно тестировать только период до эксперимента, а данные из периода эксперимента игнорировать при сравнении.
CМожно умножить старое значение `p-value` на коэффициент `theta` и считать это корректной поправкой неопределённости.
DНужно пересчитать дисперсию и стандартную ошибку уже на скорректированной метрике и строить доверительный интервал и тест по ней.
Ответ: После `CUPED` нужно оценивать дисперсию и стандартную ошибку у скорректированной метрики и строить доверительный интервал и тест по ней.
`CUPED` снижает дисперсию исхода за счёт ковариаты до эксперимента, поэтому старые оценки неопределённости больше не подходят. Правильный путь: рассчитать скорректированную метрику, оценить её дисперсию и стандартную ошибку, а затем построить доверительный интервал и тест для разницы между группами A и B. Это сохраняет корректность статистических выводов и отражает реальный выигрыш от снижения дисперсии. Если использовать старые интервалы или вручную пересчитывать `p-value` через `theta`, легко получить неверные выводы.
Подробный разбор → 17Вы хотите применить `CUPED` с ковариатой `sessions_per_user` за период до эксперимента, но эти данные есть только у части пользователей, и доля таких пользователей различается между группами A и B. Какой главный риск?
AРиска фактически нет, потому что `CUPED` автоматически корректирует разницу долей пользователей с пропусками в данных.
BЕсли исключить пользователей без данных за период до эксперимента, можно нарушить сопоставимость групп и получить смещённую оценку эффекта.
CБудет только более широкий доверительный интервал, но среднее значение разницы между группами останется несмещённым после фильтра.
DЭто гарантирует рост наблюдаемого прироста, потому что в анализе останутся только активные пользователи с накопленной историей событий.
Ответ: Если данных за период до эксперимента нет у всех и доли пропусков различаются между A и B, фильтрация по наличию ковариаты может нарушить сопоставимость и дать смещение.
Сравнение групп A и B корректно опирается на исходную случайную раскладку пользователей. Если вы выбрасываете часть пользователей из-за отсутствия данных за период до эксперимента, вы меняете популяцию анализа. Когда доли пропусков различаются между A и B или связаны с поведением, появляется риск смещения оценки. Лучше заранее обеспечить одинаковый расчёт ковариаты или аккуратно продумать обработку пропусков, не нарушая сопоставимость групп.
Подробный разбор → 18Вы тестируете новый экран, целевая метрика — конверсия. Какую ковариату нельзя использовать в `CUPED`, чтобы не получить утечку и смещение оценки?
AСредняя выручка на пользователя за предэкспериментальный период до выдачи варианта
BСреднее число сессий на пользователя за предэкспериментальный период до выдачи варианта
CЧисло кликов по новому экрану в постэкспериментальный период, которое прямо зависит от варианта
DФиксированная характеристика страны пользователя, известная задолго до старта эксперимента
Ответ: В `CUPED` ковариата должна быть измерена до эксперимента и не зависеть от варианта, иначе оценка эффекта будет смещённой.
Классическое требование: ковариата не должна зависеть от воздействия и должна быть измерена до выдачи варианта. Если корректировать по тому, что само изменилось из-за эксперимента, вы частично вычитаете эффект и получаете смещённую оценку. Поэтому в `CUPED` берут признаки из предэкспериментального периода или статические характеристики, известные заранее.
Подробный разбор → 19Эксперимент проводится на офлайн-точках, а выручка сильно зависит от магазина и дня недели. Как корректнее всего применить блочную рандомизацию при назначении групп `A` и `B`?
AСгруппировать точки по магазину и дню недели и внутри каждого блока случайно назначить `A` или `B`
BРаздать вариант каждой точке полностью случайно с расчётом на самовыравнивание различий за счёт большой выборки
CПровести неделю только с вариантом `A`, затем неделю с `B` для последовательного сравнения и снятия сезонности
DОтсортировать точки по выручке и отдать первые 50% в группу `B` ради сходства магазинов по обороту
Ответ: Когда выручка сильно зависит от магазина и дня недели, блочная рандомизация по этим факторам снижает дисперсию и повышает мощность.
В офлайн-экспериментах разница между точками может быть очень большой и доминировать над эффектом теста. Если рандомизировать внутри блоков по магазину и дню недели, сравнение `A` и `B` идёт на похожих единицах: это снижает дисперсию и повышает мощность. Простая рандомизация без блоков не учитывает заранее известный источник шума, последовательный тест ловит сезонность и тренд, а сортировка по выручке — это уже самоселекция, а не рандомизация.
Подробный разбор → 20Аналитик попробовал 8 разных ковариат для `CUPED` и выбрал ту, при которой получился самый маленький `p-value` для эффекта. Что в этом подходе наиболее проблемно?
AЭто всегда безопасно, потому что `CUPED` сам по себе не влияет на `p-value` и итоговую вероятность ошибки I рода в эксперименте
BЭто увеличивает только риск ошибки II рода и никак не сказывается на ошибке I рода, поскольку ковариата работает лишь на снижение дисперсии
CЭто фактически перебор аналитических решений и может увеличить риск ложноположительных выводов, если ковариату не зафиксировать заранее
DПроблема только в скорости расчётов и удобстве, а на статистические выводы выбор ковариаты по `p-value` влияния не оказывает
Ответ: Выбор ковариаты постфактум по минимальному `p-value` — это перебор аналитических решений и рост риска ложноположительных выводов.
Когда вы пробуете много вариантов и выбираете самый удачный по `p-value`, вы по сути делаете множественные проверки. Даже при отсутствии реального эффекта можно случайно найти настройку, которая выглядит значимой. Чтобы избежать этого, ковариату и метод снижения дисперсии лучше зафиксировать до эксперимента или использовать отдельные данные для выбора. Иначе результаты становятся менее надёжными и хуже воспроизводятся.
Подробный разбор →