Доли и проценты: вопросы для собеседования (часть 4)
Процентное изменение, процентные пункты, доля от целого, парадокс Симпсона — арифметика долей полна ловушек. На собеседовании часто спрашивают: «конверсия выросла с 2% до 3% — это рост на 1% или на 50%?» Путаница между процентами и процентными пунктами — красный флаг для интервьюера.
Вопросы 16–20 из 20
16Отправили 100000 писем: 5000 `bounces`, 20000 `opens`, где `delivered` = `sent` минус `bounces`. Какой `denominator` корректен для `open rate`?
A`opens` / `sent`
B`delivered` / `opens`
C`opens` / `delivered`
D`opens` / `clicks`
Ответ: Для `open rate` `denominator` должен отражать доставленные письма `delivered`, а не все `sent`.
Если письма не доставлены, пользователь физически не может их открыть, поэтому включать их в `denominator` обычно некорректно. Использование `delivered` делает `rate` более сопоставимым между рассылками с разным уровнем `bounces`. Главное — договориться об определении и применять его последовательно.
17Источник A: 10 `conversions` из 100 `visits`. Источник B: 5 `conversions` из 10 `visits`. Как корректно посчитать общий `conversion rate` по двум источникам?
AСуммарные `conversions` разделить на суммарные `visits`
BВзять среднее двух `conversion rate` без учёта `denominator`
CСложить оба `conversion rate`, чтобы получить общий `rate`
DСравнить только `conversions`, потому что `denominator` не важен
Ответ: Общий `rate` считают как общий числитель на общий `denominator`, а не как среднее `ratio metric` без весов.
У источников разные размеры базы, поэтому их `conversion rate` нельзя просто усреднять. Правильная агрегация — сложить `conversions` и сложить `visits`, затем взять отношение. Так вы получаете единый `rate`, который соответствует общей базе и корректен для отчёта.
18Аналитик назвал метрику `CTR` как `clicks` на `users`, а не `clicks` на `impressions`. В чём ошибка?
AОшибки нет, для `CTR` подходит любой `denominator`
BЭто подмена `denominator`: получилась `clicks per user`, а не `CTR`, и сравнение с другими `CTR` некорректно
CЭто делает метрику независимой от `base rate`, поэтому всегда лучше
DЭто автоматически увеличивает `lift`, поэтому так и нужно делать
Ответ: При замене `denominator` вы меняете смысл `ratio metric`, поэтому сравнение с `CTR` становится неверным.
`CTR` по определению связан с экспозицией через `impressions`. Если заменить базу на `users`, вы отвечаете на другой вопрос и смешиваете эффективность с частотой показов. Корректно либо считать настоящий `CTR`, либо честно назвать метрику как `clicks per user`.
19Вы сравниваете `signup rate` между двумя неделями, но во 2-й неделе изменили определение события `signup`, из-за чего изменились `numerator` и/или `denominator`. Что нужно сделать, чтобы сравнение `rate` было корректным?
AПривести определения `numerator` и `denominator` к одной версии для обеих недель и пересчитать сравнение
BСравнить проценты как есть, потому что `rate` сам всё нормирует
CСравнить только абсолютные `signups` и игнорировать `denominator`
DНормализовать на 1000 `users`, чтобы не думать о `base rate`
Ответ: Сравнивать `rate` можно только при одинаковом определении `numerator` и `denominator` во времени.
Если изменилось то, что считается событием, вы сравниваете разные метрики под одним названием. В такой ситуации нельзя интерпретировать изменение как рост или падение продукта. Правильный шаг — унифицировать определения и пересчитать исторические значения, чтобы база была сопоставимой.
20После запуска нового канала трафика общая `CR` упала с 4% до 3%, но `orders` выросли с 400 до 600. Как корректнее всего это объяснить?
AНовый канал однозначно снижает качество трафика: раз `CR` упала с 4% до 3%, значит большинство привлечённых пользователей не конвертируются и канал надо отключить.
B`CR` зависит от `base rate` (базовая частота событий) и `denominator` `visits`: могли добавить много новых `visits` с низкой конверсией, поэтому `rate` упал, но абсолютные `orders` выросли
CНужно смотреть исключительно на `CR` как на главную метрику эффективности: абсолютный рост `orders` при падении `rate` — это статистический артефакт, не реальный рост.
DОдновременный рост `orders` и падение `CR` логически невозможны без ошибки в данных: скорее всего, `orders` и `visits` считаются из разных источников с разной логикой.
Ответ: Изменение `base rate` и `denominator` может снизить общий `rate`, даже если абсолютный результат растёт.
Добавление трафика меняет состав аудитории и масштаб `denominator` `visits`. Из-за этого общий `CR` может снизиться, хотя абсолютные `orders` растут за счёт большего объёма. Важно разделять вопросы про эффективность (`rate`) и про общий результат (абсолютные значения).
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram