Доли и проценты: вопросы для собеседования (часть 2)
Процентное изменение, процентные пункты, доля от целого, парадокс Симпсона — арифметика долей полна ловушек. На собеседовании часто спрашивают: «конверсия выросла с 2% до 3% — это рост на 1% или на 50%?» Путаница между процентами и процентными пунктами — красный флаг для интервьюера.
Вопросы 6–10 из 20
6Нужно посчитать конверсию шага «покупка» из шага «начало оформления заказа» в воронке. Какой знаменатель корректен?
AЧисло покупок, делённое на число начатых оформлений заказа на этом же отрезке времени
BЧисло покупок, делённое на число сессий за тот же период анализа воронки
CЧисло начатых оформлений заказа, делённое на число покупок за тот же период
DЧисло покупок, делённое на число пользователей, заходивших в продукт за период
Ответ: Для шага воронки правильный знаменатель — объём предыдущего шага, здесь это число начатых оформлений заказа.
Шаговая конверсия отвечает на вопрос, какая доля вошедших в шаг «начало оформления заказа» дошла до покупки. Если взять сессии или всех пользователей в знаменатель, вы смешаете несколько этапов воронки и получите другую интерпретацию. Ясный знаменатель делает метрику пригодной для диагностики узких мест воронки. Обратное отношение «начатых оформлений к покупкам» вообще даёт другой смысл и не является конверсией шага.
Подробный разбор → 7Канал A: 1000 визитов и 50 покупок. Канал B: 100 визитов и 10 покупок. Маркетолог говорит, что A лучше, потому что покупок больше. Что корректнее?
AСогласиться с маркетологом: больше покупок означает лучший канал, даже без учёта объёма трафика на канал A
BСравнить только средний размер покупки в каждом канале без учёта числа покупок и числа визитов в канале B
CСравнить конверсию (CR) как отношение покупок к визитам и отдельно учитывать масштаб визитов в каждом канале
DСравнить только абсолютный прирост покупок в канале A за период без сопоставления с динамикой канала B и его трафика
Ответ: Эффективность каналов корректно сравнивать через `CR` на одном знаменателе, а объём обсуждать отдельно.
Абсолютное число покупок зависит от объёма трафика, поэтому само по себе не отвечает на вопрос об эффективности канала. Конверсия `CR` нормирует результат на знаменатель в виде числа визитов и позволяет сравнивать качество трафика. При принятии решения обычно важны оба аспекта: и доля конверсий, и масштаб канала.
Подробный разбор → 8В отчёте написано: конверсия в активацию выросла на 100%. Какой следующий вопрос лучше всего задать, чтобы не попасть в ловушку базовой величины?
AСовпадает ли рост в 100% с обычной волатильностью метрики неделя к неделе и не попадает ли он в типичный шум по этому показателю
BКакая исходная база и какие абсолютные значения числителя и знаменателя стоят за этим процентным ростом метрики активации
CМожно ли заменить долю активации на любую другую метрику, чтобы рост в процентах выглядел ещё больше для итогового отчёта
DПравда ли, что при росте показателя на 100% эффект автоматически статистически значим без дополнительных проверок мощности
Ответ: Процентный рост без контекста базовой величины может вводить в заблуждение, поэтому важно смотреть числитель и знаменатель.
Рост на 100% может означать переход с 0,5% до 1% или с 20% до 40%, но это совершенно разные по масштабу ситуации. Без исходной базы и абсолютных чисел в числителе и знаменателе непонятно, насколько эффект важен для продукта и стоит ли менять решения. Поэтому корректная коммуникация всегда включает базовую величину и объёмы. Аргументы про значимость или замену метрики уводят разговор в сторону.
Подробный разбор → 9В августе доля возвратов составила 5% при 1000 заказах (50 возвратов). В сентябре доля возвратов стала 4% при 2000 заказах (80 возвратов). Как корректно описать ситуацию?
AКачество ухудшилось: 80 возвратов больше 50, а доля возвратов в этом сравнении вторична
BДоля возвратов снизилась с 5% до 4%, при этом абсолютное число возвратов выросло из-за роста числа заказов
CКачество улучшилось, и абсолютное число возвратов обязано снижаться вместе с долей по определению
DБез формального статистического теста выводы по этим двум числам делать недопустимо
Ответ: Доля может снижаться, даже если абсолютный числитель растёт, когда растёт знаменатель.
Снижение доли возвратов говорит, что доля возвратов на заказ стала меньше, то есть процесс мог улучшиться. Но при росте числа заказов абсолютное число возвратов может одновременно увеличиться. Поэтому полезно показывать и долю, и абсолютные значения, чтобы не было противоречивых выводов. Опираться только на одно из чисел опасно: можно либо приукрасить картину, либо несправедливо обвинить процесс.
Подробный разбор → 10Вы определили активацию как долю зарегистрировавшихся пользователей, которые совершили ключевое действие в воронке. Какой знаменатель корректнее?
AАктивации делить на показы: показы стоят на самом верху воронки и охватывают всю аудиторию
BРегистрации делить на активации: знаменатель должен идти после числителя по порядку шагов воронки
CАктивации делить на визиты: любой посетитель сайта потенциально совершает ключевое действие
DАктивации делить на регистрации: регистрации задают базу пользователей, способных активироваться
Ответ: Если активация задана на шаге воронки, знаменателем должен быть предыдущий шаг, то есть регистрации.
Регистрации задают базу тех, кто потенциально может активироваться по выбранному определению. Если взять визиты или показы, вы измерите более верхний этап и получите другую метрику. Чёткий знаменатель помогает понять, где именно проседает доля активаций и какой шаг воронки является узким местом.
Подробный разбор →