В августе доля возвратов составила 5% при 1000 заказах (50 возвратов). В сентябре доля возвратов стала 4% при 2000 заказах (80 возвратов). Как корректно описать ситуацию?
Процентное изменение, процентные пункты, доля от целого, парадокс Симпсона — арифметика долей полна ловушек. На собеседовании часто спрашивают: «конверсия выросла с 2% до 3% — это рост на 1% или на 50%?» Путаница между процентами и процентными пунктами — красный флаг для интервьюера.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1В сервисе мониторят долю ошибок API. Что логичнее использовать как знаменатель для этого отношения?
AЧисло ошибок, делённое на число уникальных пользователей за тот же период
BЧисло ошибок, делённое на число пользовательских сессий за тот же период
CЧисло запросов, делённое на число ошибок (обратное отношение)
DЧисло ошибок, делённое на число запросов за тот же период
Ответ: Для доли ошибок корректный знаменатель — число запросов, потому что ошибка возможна на каждом запросе.
Если в основе лежат запросы, отношение отвечает на вопрос, какая доля запросов закончилась ошибкой. Если использовать пользователей или сессии, вы смешаете нагрузку и поведение пользователей с качеством API: один пользователь может сделать сотни запросов. Корректный знаменатель делает сравнение релизов и периодов более честным. Обратное отношение «запросы на одну ошибку» используется реже и плохо читается на дашбордах.
2В отчёте по баннеру нужно посчитать CTR. Какое отношение полей в таблице событий корректно соответствует этой метрике?
AОтношение `sessions` к `clicks`: доля сессий, в которых пользователь кликнул по баннеру хотя бы раз
BОтношение `clicks` к `users`: среднее число кликов в расчёте на одного пользователя
CОтношение `clicks` к `impressions`: доля показов, по которым пользователь кликнул
DОтношение `impressions` к `clicks`: среднее число показов, приходящихся на один клик
Ответ: CTR — это доля показов, приведших к клику: в числителе `clicks`, в знаменателе `impressions`.
CTR измеряет, какая доля показов приводит к клику, поэтому база должна отражать экспозицию баннера. Если в знаменатель поставить `sessions` или `users`, получится другая метрика, и сравнение креативов между периодами становится некорректным. Перевёрнутое отношение `impressions`/`clicks` тоже даёт другой смысл — среднее число показов на клик, а не долю кликов.
3Команда считает удержание на 7 день: в день 0 было 1000 новых пользователей, за 7 дней вернулось 300 уникальных пользователей. Какой знаменатель корректен для коэффициента удержания?
AСуммарное число сессий за 7 дней по всем пользователям когорты
BЧисло вернувшихся пользователей (300), потому что это главный результат недели
CЧисло новых пользователей в день 0 (1000), то есть исходный размер когорты
DЧисло `DAU` за неделю, усреднённое по всем семи дням наблюдения
Ответ: Для коэффициента удержания знаменатель обычно равен размеру исходной когорты, чтобы база сравнения была стабильной.
Удержание отвечает на вопрос, какая доля когорты вернулась, поэтому база — это те, кто был в когорте на старте. Если подменить знаменатель на `DAU` или сессии, вы получите другую метрику, и сравнение перестанет быть когортным. Стабильный знаменатель делает сравнение периодов корректным.
4Метрика конверсии выросла с 2% до 3%. Какое утверждение корректно описывает изменение?
AРост на 1% и одновременно на 1 процентный пункт, потому что относительное и абсолютное изменения здесь совпадают по числу
BРост на 1 процентный пункт и одновременно на 50% относительно базового уровня, потому что прирост 1 от базы 2 это половина
CРост на 50 процентных пунктов, потому что относительное изменение 50% и абсолютное в пунктах должны выражаться одним числом
DРост на 3%, потому что новое значение метрики стало равно 3% и это и есть итоговое изменение для отчёта
Ответ: Переход конверсии с 2% до 3% означает +1 процентный пункт и +50% относительно базового уровня.
Изменение в процентных пунктах — это абсолютная разница между двумя долями (3% − 2% = 1 пункт). Относительный рост в процентах считается относительно базового уровня и равен 1/2 = 50%. При маленькой базе относительный рост выглядит большим, поэтому важно явно говорить, о каком типе изменения идёт речь, чтобы не вводить бизнес в заблуждение. Варианты «1% и 1 пункт совпадают», «50 пунктов» или «рост на 3%» путают абсолютное и относительное изменения.
5Кампания A: 200 новых пользователей, за 7 дней вернулось 40. Кампания B: 50 новых пользователей, за 7 дней вернулось 15. Как корректнее сравнить удержание между кампаниями?
AСравнить только число вернувшихся пользователей: 40 против 15, и выбрать кампанию с большим абсолютным числом возврата
BСравнить только число новых пользователей: 200 против 50, и выбрать кампанию с большим объёмом привлечения за период
CСравнить долю вернувшихся к когорте: 40 из 200 (20%) против 15 из 50 (30%), и выбрать по нормированной метрике удержания
DСравнить разницу вернувшихся: 40 минус 15 = 25, и выбрать кампанию с положительной разницей независимо от размера когорты
Ответ: Чтобы сравнить удержание, нужен сопоставимый знаменатель: сравнивают долю вернувшихся к когорте, а не абсолютные числа.
Абсолютное число вернувшихся зависит от размера исходной когорты и легко вводит в заблуждение. Доля вернувшихся нормирует результат на знаменатель когорты и позволяет сравнивать эффективность кампаний на одном языке. После этого отдельно можно обсудить масштаб, если важны и эффективность, и объём. Сравнение только новых, только разницы или только абсолютных вернувшихся пропускает базовый размер когорты и даёт некорректный вывод.