Доли и проценты: вопросы для собеседования (часть 4)
Процентное изменение, процентные пункты, доля от целого, парадокс Симпсона — арифметика долей полна ловушек. На собеседовании часто спрашивают: «конверсия выросла с 2% до 3% — это рост на 1% или на 50%?» Путаница между процентами и процентными пунктами — красный флаг для интервьюера.
Вопросы 16–20 из 20
16Отправили 100000 писем: 5000 не доставлено (bounces), 20000 открытий, где доставлено = отправлено минус не доставлено. Какой знаменатель корректен для open rate (доли открытий)?
AОткрытия / Отправлено
BДоставлено / Открытия
CОткрытия / Доставлено
DОткрытия / Клики
Ответ: Для open rate знаменатель должен отражать доставленные письма, а не все отправленные.
Если письма не доставлены, пользователь физически не может их открыть, поэтому включать их в знаменатель обычно некорректно. Использование числа доставленных писем делает долю открытий более сопоставимой между рассылками с разным уровнем недоставленных. Главное — договориться об определении и применять его последовательно.
Подробный разбор → 17Источник A: 10 `conversions` из 100 `visits`. Источник B: 5 `conversions` из 10 `visits`. Как корректно посчитать общий показатель конверсии по двум источникам?
AСравнить только сырое число `conversions` между источниками, потому что знаменатель не влияет на корректную агрегацию итоговой доли.
BУсреднить две доли `conversions/visits` без весов, считая источники одинаково значимыми для общей оценки конверсии по двум источникам.
CСложить `conversions` обоих источников и разделить на сумму `visits`, получив единое отношение, корректное для общей базы наблюдений.
DСложить две доли `conversions/visits` и считать сумму общей конверсией без учёта разной величины базы и взвешивания по числу `visits`.
Ответ: Общую долю считают как сумму числителей, делённую на сумму знаменателей, а не как простое среднее долей без весов.
У источников разные размеры базы, поэтому их доли `conversions/visits` нельзя просто усреднять — большой источник должен иметь больший вес. Правильная агрегация — сложить `conversions` и сложить `visits`, затем взять отношение. Так вы получаете единый показатель, который соответствует общей базе и корректен для отчёта. Усреднение долей без весов часто завышает или занижает результат, особенно когда базы сильно различаются.
Подробный разбор → 18Аналитик назвал метрику CTR как клики на пользователей, а не клики на показы. В чём ошибка?
AОшибки нет, для CTR подходит любой знаменатель: и пользователи, и показы дают сопоставимые между собой значения метрики кликабельности
BЭто делает метрику независимой от базового уровня показов и поэтому всегда лучше классического CTR при сравнении разных рекламных каналов
CЭто автоматически увеличивает наблюдаемый прирост метрики между группами в A/B-тесте, поэтому такую формулировку и стоит использовать
DЭто подмена знаменателя: получилась метрика «клики на пользователя», а не CTR, и сравнение её с другими CTR становится некорректным
Ответ: При замене знаменателя меняется смысл отношения, поэтому сравнение с CTR становится некорректным.
CTR по определению связан с экспозицией через показы. Если заменить базу на пользователей, вы отвечаете на другой вопрос и смешиваете эффективность с частотой показов. Корректно либо считать настоящий CTR, либо честно назвать метрику «клики на пользователя» и не сравнивать её с CTR в других отчётах. Утверждения, что «любой знаменатель подходит», «независимость от базового уровня» или «прирост в тесте автоматически растёт», звучат как бытовая логика, но не выдерживают сравнения с определением метрики.
Подробный разбор → 19Вы сравниваете конверсию в регистрацию между двумя неделями, но во 2-й неделе изменили определение события регистрации, из-за чего изменились числитель и/или знаменатель. Что нужно сделать, чтобы сравнение было корректным?
AСравнить проценты конверсии как есть: отношение само нормирует разницу в числителе и знаменателе между двумя неделями анализа
BПривести определения числителя и знаменателя к одной версии для обеих недель и пересчитать сравнение по согласованной метрике
CСравнить только абсолютное число регистраций между неделями и игнорировать знаменатель, раз он нестабилен между периодами
DНормализовать обе недели на 1000 пользователей, чтобы базовое значение метрики стало одинаковым и не нужно было думать о разнице
Ответ: Сравнивать `rate` можно только при одинаковом определении `numerator` и `denominator` во времени.
Если изменилось то, что считается событием, вы сравниваете разные метрики под одним названием. В такой ситуации нельзя интерпретировать изменение как рост или падение продукта. Правильный шаг — унифицировать определения и пересчитать исторические значения, чтобы база была сопоставимой.
Подробный разбор → 20После запуска нового канала трафика общая конверсия (CR) упала с 4% до 3%, но число заказов выросло с 400 до 600. Как корректнее всего это объяснить?
AКачество визитов нового канала упало: снижение конверсии с 4% до 3% означает плохой коэффициент и неверный таргетинг канала
BКонверсия зависит от состава визитов: новый канал добавил визитов с низкой конверсией, общий показатель упал, а заказы выросли
CГлавная метрика именно конверсия: рост заказов при падении коэффициента стоит трактовать как статистический артефакт отчёта
DОдновременный рост заказов и падение конверсии невозможен без ошибки: заказы и визиты берутся из разных источников данных
Ответ: Изменение `base rate` и `denominator` может снизить общий `rate`, даже если абсолютный результат растёт.
Добавление трафика меняет состав аудитории и масштаб `denominator` `visits`. Из-за этого общий `CR` может снизиться, хотя абсолютные `orders` растут за счёт большего объёма. Важно разделять вопросы про эффективность (`rate`) и про общий результат (абсолютные значения).
Подробный разбор →