Снижение дисперсии и CUPED: вопросы для собеседования (часть 3)
CUPED, стратификация, контрольные ковариаты — техники снижения дисперсии позволяют обнаруживать меньшие эффекты при том же размере выборки. На собеседовании спрашивают, как CUPED использует предэкспериментальные данные и на сколько процентов можно сократить дисперсию. Это тема для сильных кандидатов, которые хотят выделиться.
Вопросы 11–15 из 20
11В эксперименте обнаружили несоответствие долей групп: доля пользователей в варианте B заметно выше ожидаемой. Поможет ли `CUPED` решить эту проблему?
AНет: `CUPED` снижает дисперсию метрики, но не исправляет проблемы рандомизации; сначала нужно найти причину дисбаланса групп
BДа: `CUPED` автоматически выравнивает доли пользователей в группах за счёт снижения дисперсии метрики при анализе
CДа, если выбрать ковариату из предтестового периода, она компенсирует разницу долей между вариантами в эксперименте
DНет: но стратификация после факта эксперимента полностью чинит дисбаланс долей и возвращает их к ожидаемому распределению
Ответ: Нет: `CUPED` снижает дисперсию при корректной рандомизации, но не исправляет проблемы назначения трафика по группам.
Несоответствие долей групп обычно сигнализирует о проблеме в назначении вариантов или в трекинге событий. Если базовая рандомизация сломана, любые методы снижения дисперсии, включая `CUPED`, не гарантируют корректности и могут дать вводящие в заблуждение результаты. Поэтому сначала проверяют источники несоответствия, а уже потом применяют `CUPED` для повышения точности оценки эффекта.
Подробный разбор → 12В методе CUPED (корректировка по предтестовой ковариате) используется коэффициент `theta`. Как его обычно получают на практике?
AОценивают `theta` прямо по данным так, чтобы минимизировать дисперсию скорректированной метрики
BФиксируют `theta` равным единице: такое значение считается стандартом метода CUPED во всех командах
CПодбирают `theta` вручную, чтобы p-value стал ниже уровня значимости и эффект оказался значимым
DБерут `theta` из прошлых аналогичных тестов без пересчёта для предотвращения утечки информации в эксперимент
Ответ: В CUPED коэффициент `theta` оценивают из данных так, чтобы максимально снизить дисперсию метрики и сохранить корректность.
Интуитивно `theta` показывает, насколько сильно стоит учитывать предтестовую ковариату при корректировке исхода. Его оценивают по стандартной процедуре (по сути коэффициент регрессии исхода на ковариату), не подгоняя под желаемый результат. Ручной подбор `theta` ради меньшего p-value превращает корректировку в подгонку и портит статистический вывод. Фиксировать единицу или брать значение из прошлых тестов тоже нельзя — оно зависит от конкретных данных.
Подробный разбор → 13Чем `CUPED` (Controlled-experiment Using Pre-Experiment Data) отличается от подхода сравнивать метрику как `post - pre` между группами `A` и `B`?
A`CUPED` подбирает оптимальный коэффициент `theta` для предтестовой ковариаты, а `post - pre` соответствует фиксированному весу 1
B`CUPED` увеличивает наблюдаемый эффект в два раза, а простое `post - pre` его сохраняет на исходном уровне
C`CUPED` применим только к бинарным метрикам конверсии, а `post - pre` работает только с непрерывными метриками
D`CUPED` запрещает применение доверительных интервалов, а `post - pre` совместимо с ними и даёт корректный вывод
Ответ: `CUPED` оценивает оптимальный вес `theta` для предтестовой ковариаты; простое `post - pre` — это фиксированный вес и часто не оптимален по дисперсии.
И простое `post - pre`, и `CUPED` пытаются учесть базовый уровень пользователя, чтобы уменьшить шум. Фиксированное вычитание означает, что вес предтестового значения задан заранее и может быть слишком большим или слишком маленьким. `CUPED` оценивает `theta` из данных так, чтобы максимально снизить дисперсию скорректированной метрики при корректных предпосылках. Поэтому на практике `CUPED` обычно даёт более стабильную оценку эффекта при том же объёме выборки.
Подробный разбор → 14После применения `CUPED` для метрики `revenue_per_user` вы получили оценку эффекта +0.15. Как корректнее всего интерпретировать этот результат?
AЭто вероятность того, что нулевая гипотеза верна; в деньгах интерпретировать нельзя без перевода через эластичность спроса.
BПосле `CUPED` единицы измерения становятся условными, поэтому +0.15 нужно нормировать на стандартное отклонение базовой метрики.
CЭто оценка прироста скорректированной по `CUPED` метрики в исходных единицах (рубли на пользователя); смотреть вместе с доверительным интервалом.
DЭто означает, что предэкспериментальная выручка выросла на 0.15 рубля, а не разница между группами в эксперименте.
Ответ: `CUPED` сохраняет единицы метрики; выводы (доверительный интервал и тест) нужно строить по скорректированной метрике и оценивать практическую значимость.
`CUPED` строит новый исход, корректируя его на предэкспериментальную ковариату, но измерения остаются в тех же единицах (например, рубли на пользователя). Поэтому разницу между группами A и B можно сравнивать с бизнес-порогом в исходных единицах. Важно строить доверительный интервал и тест именно по скорректированной метрике, потому что меняется дисперсия. Если интервал узкий и лежит ниже порога полезности, это сигнал о слабой практической ценности эффекта.
Подробный разбор → 15После применения `CUPED` дисперсия метрики стала в 2 раза меньше. Что это примерно означает для размера выборки, чтобы детектировать тот же эффект при той же мощности?
AНужна примерно в 2 раза большая выборка, потому что меньшая дисперсия снижает чувствительность теста к эффекту
BРазмер выборки не изменится, потому что `CUPED` влияет только на оценку среднего, а не на её разброс
CНужна примерно в 4 раза меньшая выборка, потому что объём масштабируется как квадрат отношения дисперсий
DНужна примерно в 2 раза меньшая выборка, потому что требуемый объём примерно пропорционален дисперсии метрики
Ответ: Если дисперсия упала в 2 раза, для детекта того же эффекта часто нужно примерно в 2 раза меньше наблюдений (приближённо `N ~ variance`).
Если дисперсия уменьшилась в 2 раза, стандартная ошибка обычно падает, и сигнал легче отделить от шума. Поэтому для детекта того же эффекта часто требуется примерно в 2 раза меньше наблюдений. Это приближение: точная экономия зависит от распределения метрики, дизайна теста и выбранного критерия. Уменьшение в 4 раза предполагало бы пропорциональность объёма квадрату дисперсии, что не соответствует формуле размера выборки.
Подробный разбор →