В чём основная идея дельта-метода при оценке разницы метрик-отношений между вариантами?
AСгенерировать синтетические логи и оценить эффект на симуляции, заменив реальные данные модельными
BСделать перестановочный тест, перемешав метки вариантов и оценив значимость через эмпирическое распределение
CЛинеаризовать метрику через приближение Тейлора около средних и получить аналитическую оценку дисперсии
DВычислить точное распределение отношения сумм без приближений, опираясь на закон распределения каждой части
Правильный ответ. Дельта-метод использует линейное приближение нелинейной функции (например, отношения) для оценки её дисперсии и доверительного интервала.
Разбор
Для метрик вида отношение сумм точное распределение часто неудобно для анализа. Дельта-метод заменяет нелинейную функцию (например, отношение) её линейным приближением через ряд Тейлора около средних. Это даёт аналитическую формулу для дисперсии, после которой можно строить доверительный интервал и считать p-value как для «обычных» средних в асимптотическом режиме. Симуляции и перестановочные тесты — это другие подходы, они не используют линеаризацию, а точное распределение отношения сумм в общем случае не считают.
Проверь себя · 1/3разбор после ответа
Вы сравниваете CTR на очень большом трафике; у каждого пользователя много показов, нулевых знаменателей почти нет. Какой метод обычно даёт хороший баланс точности и скорости?
Ещё вопросы по теме «Ratio-метрики и бутстреп»
- Какая из метрик является метрикой-отношением (`ratio metric`)?
- Вы считаете `ARPU` в эксперименте; что является числителем и знаменателем этой метрики?
- Есть таблица по пользователям с колонками `conversions` (число конверсий) и `visits` (число визитов). Вы хотите получить групповую конверсию по визитам. Какой расчёт корректен?
- Почему анализ доли вида `CTR` часто нельзя делать как «обычный средний показатель» без оговорок?
- Есть две кампании: первая — 1 клик и 1 показ, вторая — 9 кликов и 99 показов. Чему равен общий CTR по двум кампаниям при корректной агрегации?
- Все вопросы по «Ratio-метрики и бутстреп» →