Доли и проценты: вопросы для собеседования (часть 2)
Процентное изменение, процентные пункты, доля от целого, парадокс Симпсона — арифметика долей полна ловушек. На собеседовании часто спрашивают: «конверсия выросла с 2% до 3% — это рост на 1% или на 50%?» Путаница между процентами и процентными пунктами — красный флаг для интервьюера.
Вопросы 6–10 из 20
6Нужно посчитать `CR` шага `purchase` из шага `checkout_start` в `funnel`. Какой `denominator` корректен?
A`purchases` / `checkout_starts`
B`purchases` / `sessions`
C`checkout_starts` / `purchases`
D`purchases` / `users`
Ответ: Для шага `funnel` правильный `denominator` — объём предыдущего шага, здесь `checkout_starts`.
Шаговый `CR` отвечает на вопрос, какая доля вошедших в шаг `checkout_start` дошла до `purchase`. Если взять `sessions` или `users` в `denominator`, вы смешаете несколько этапов воронки и получите другую интерпретацию. Ясный `denominator` делает `rate` пригодным для диагностики узких мест.
7Канал A: 1000 `visits` и 50 `purchases`. Канал B: 100 `visits` и 10 `purchases`. Маркетолог говорит, что A лучше, потому что `purchases` больше. Что корректнее?
AСогласиться: больше `purchases` означает лучший канал
BСравнивать нельзя, потому что `denominator` `visits` разный
CСравнить только относительный рост `purchases`, не учитывая `denominator`
DСравнить `CR` как `purchases` на `visits` и отдельно учитывать масштаб `visits`
Ответ: Эффективность корректно сравнивать через `CR` на одном `denominator`, а объём обсуждать отдельно.
Абсолютные `purchases` зависят от объёма трафика, поэтому сами по себе не отвечают на вопрос об эффективности канала. `CR` нормирует результат на `denominator` `visits` и позволяет сравнивать качество трафика. При принятии решения обычно важны оба аспекта: и `rate`, и масштаб.
8В отчёте написано: `activation rate` вырос на 100%. Какой следующий вопрос лучше всего задать, чтобы не попасть в ловушку `base rate`?
AМожно ли сразу умножить бюджет на 2, раз рост 100%?
BКакой был `base rate` и какие абсолютные значения `numerator` и `denominator` стоят за этим ростом?
CМожно ли заменить `rate` на любую другую метрику, чтобы рост выглядел ещё больше?
DПравда ли, что при росте 100% эффект всегда статистически значим?
Ответ: Процентный рост без контекста `base rate` может быть вводящим в заблуждение, поэтому нужно смотреть `numerator` и `denominator`.
Рост на 100% может означать и переход с 0.5% до 1%, и переход с 20% до 40%, но это разные по масштабу ситуации. Без исходной базы и абсолютных чисел непонятно, насколько эффект важен для продукта. Поэтому корректная коммуникация всегда включает `base rate` и базовые объёмы.
9В августе `refund rate` был 5% при 1000 `orders` (50 `refunds`). В сентябре `refund rate` стал 4% при 2000 `orders` (80 `refunds`). Как корректно описать ситуацию?
AКачество ухудшилось, потому что 80 `refunds` больше, а `rate` не важен
BКачество улучшилось и число `refunds` обязательно должно было снизиться
C`refund rate` снизился, но абсолютные `refunds` выросли из-за роста `denominator` `orders`
DНельзя интерпретировать без статистического теста, поэтому любые выводы запрещены
Ответ: `Rate` может снижаться, даже если абсолютный числитель растёт, когда растёт `denominator`.
Снижение `refund rate` говорит, что доля возвратов на заказ стала меньше, то есть процесс мог улучшиться. Но при росте объёма `orders` абсолютное число `refunds` может увеличиться. Поэтому полезно показывать и `rate`, и абсолютные значения, чтобы не было противоречивых выводов.
10Вы определили `activation rate` как долю `signups`, которые совершили ключевое действие `activation` в `funnel`. Какой `denominator` корректнее?
A`activations` / `signups`
B`activations` / `visits`
C`signups` / `activations`
D`activations` / `impressions`
Ответ: Если `activation rate` задан на шаге `funnel`, то `denominator` — предыдущий шаг, то есть `signups`.
Именно `signups` определяют базу тех, кто потенциально может активироваться по вашему определению. Если взять `visits` или `impressions`, вы измерите более верхний этап и получите другую метрику. Чёткий `denominator` помогает понять, где именно проседает `rate`.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram