В чём основная идея дельта-метода при оценке разницы метрик-отношений между вариантами?

AСгенерировать синтетические логи и оценить эффект на симуляции, заменив реальные данные модельными
BСделать перестановочный тест, перемешав метки вариантов и оценив значимость через эмпирическое распределение
CЛинеаризовать метрику через приближение Тейлора около средних и получить аналитическую оценку дисперсии
DВычислить точное распределение отношения сумм без приближений, опираясь на закон распределения каждой части
Правильный ответ. Дельта-метод использует линейное приближение нелинейной функции (например, отношения) для оценки её дисперсии и доверительного интервала.

Разбор

Для метрик вида отношение сумм точное распределение часто неудобно для анализа. Дельта-метод заменяет нелинейную функцию (например, отношение) её линейным приближением через ряд Тейлора около средних. Это даёт аналитическую формулу для дисперсии, после которой можно строить доверительный интервал и считать p-value как для «обычных» средних в асимптотическом режиме. Симуляции и перестановочные тесты — это другие подходы, они не используют линеаризацию, а точное распределение отношения сумм в общем случае не считают.

Проверь себя · 1/3разбор после ответа
Вы сравниваете CTR на очень большом трафике; у каждого пользователя много показов, нулевых знаменателей почти нет. Какой метод обычно даёт хороший баланс точности и скорости?
Тренировать A/B в Telegram

Ещё вопросы по теме «Ratio-метрики и бутстреп»