North Star, KPI и иерархия метрик: вопросы для собеседования (часть 3)
North Star Metric, дерево метрик, связь между продуктовыми и бизнес-KPI — на собеседовании просят построить систему метрик для конкретного продукта. Какая метрика отражает ценность для пользователя? Как декомпозировать revenue на составляющие? Ответы на эти вопросы показывают системное мышление кандидата.
Вопросы 11–15 из 20
11Сервис такси снижает отмены со стороны водителей, чтобы повысить надёжность. Какая ключевая метрика наиболее точная для этой инициативы?
AКоличество новых водителей, подключившихся к платформе за период, как индикатор насыщения предложения в выбранных городах
BДоля отменённых водителями заказов от всех принятых заявок как прямой показатель надёжности на стороне предложения
CСредняя оценка приложения водителями в магазине приложений за период как показатель удовлетворённости стороны предложения
DКоличество просмотров промо-страницы для водителей в приложении как показатель интереса к программе удержания
Ответ: Когда цель — снизить отмены, ключевая метрика должна напрямую измерять отмены как результат инициативы.
Новые водители и просмотры промо-страницы могут влиять на рынок, но они не измеряют отмены напрямую. Средняя длина поездки может меняться из-за сезонности и не отражает надёжность. Доля отмен со стороны водителей наиболее близка к проблеме и быстро реагирует на изменения в механике принятия заказа. Дальше в дереве метрик она связана с запаздывающими показателями, например удержанием пассажиров и выручкой.
Подробный разбор → 12Инициатива: улучшить поиск в интернет-магазине (релевантность и удобство). Какую главную метрику логичнее выбрать на время инициативы?
AЧисло активных пользователей в день (DAU): обобщённая метрика всего продукта, мало чувствительна к качеству поиска и движется медленно
BКонверсия из поискового запроса в добавление в корзину: прямой ранний индикатор качества поиска, меняется быстрее, чем выручка
CМесячная выручка магазина: итоговый поздний индикатор результата, зависит от множества факторов помимо качества поискового движка
DЧисло установок приложения за период: метрика верхнего уровня воронки, формируется привлечением и почти не зависит от поиска
Ответ: Главная метрика инициативы должна быть близка к месту изменения и работать как ранний индикатор для итоговых поздних метрик.
Если вы улучшаете поиск, прямой эффект проявится в том, что пользователи чаще находят нужное и переходят к следующему шагу воронки. Конверсия из поиска в добавление в корзину отражает качество поиска и обычно меняется быстрее, чем выручка. Число активных пользователей в день и установки могут не измениться, даже если поиск стал лучше. Главная метрика инициативы должна быть близка к месту изменения и выступать ранним индикатором для поздних метрик вроде заказов и выручки.
Подробный разбор → 13Ключевая метрика интернет-магазина — еженедельные активные покупатели (пользователи с покупкой за неделю). Команда улучшает онбординг новых пользователей. Какая метрика будет хорошим опережающим индикатором будущего роста еженедельных активных покупателей?
AСреднее число обращений в поддержку на одного нового пользователя за первую неделю
BКвартальная выручка интернет-магазина в разрезе по новым и старым пользователям
CДоля новых пользователей, совершивших первую покупку в течение 7 дней после регистрации
DСредний чек заказа у действующих покупателей, не связанных с онбордингом новичков
Ответ: Для роста еженедельных активных покупателей важен быстрый переход новых пользователей к первой покупке — это типичный опережающий индикатор.
Если онбординг стал лучше, вы ожидаете, что больше новичков дойдёт до первого ценностного результата — первой покупки. Это изменение появляется раньше, чем квартальная выручка, и ближе к рычагу инициативы. Средний чек может даже упасть при росте числа покупателей и всё равно быть здоровым сценарием. Поэтому ключевую метрику для онбординга новичков логичнее строить вокруг первого успешного сценария.
Подробный разбор → 14Какое утверждение наиболее корректно описывает, как использовать одну фокусную метрику инициативы в работе продуктовой команды?
AФокусная метрика выбирается одна на инициативу, дополняется страховочными метриками и связью с ключевой через дерево показателей
BФокусная метрика и ключевая метрика продукта совпадают по определению, поэтому достаточно следить только за одной из них в отчёте команды
CФокусная метрика инициативы делится на два независимых показателя успеха, и каждый из них растёт самостоятельно вне общего дерева метрик
DФокусную метрику инициативы выбирают по факту запуска по тому показателю, который лучше всего вырос, чтобы удобнее объяснить успех инициативы
Ответ: Фокусная метрика помогает сосредоточиться, но не отменяет защитных метрик и связи с ключевой метрикой продукта.
Если смотреть только одну метрику, легко получить локальную оптимизацию: рост фокусной метрики ценой ухудшения пользовательского опыта. Поэтому вместе с фокусной метрикой задают защитные и заранее видят её место в дереве показателей. Хорошая практика — объяснить, почему выбранная фокусная метрика является опережающим индикатором ключевой метрики продукта. Тогда решения становятся прозрачнее и менее подвержены оптимизации не того.
Подробный разбор → 15Бизнес-цель — рост подписки в B2B. Вы выбрали ключевой метрикой продукта число еженедельно активных платящих команд. Какая метрика наиболее похожа на прямой драйвер в дереве KPI для этой ключевой метрики?
AКоличество платящих команд за месяц как ближайший компонент еженедельной активности
BВизиты на маркетинговый сайт от рекламы и партнёрских интеграций за месяц
CКоличество заведённых баг-репортов от пользователей продукта за период
DПодписчики в социальных сетях бренда и сообщество вокруг продукта
Ответ: Драйвер в дереве KPI должен быть компонентой или ближайшей причиной изменения ключевой метрики продукта.
Еженедельно активных платящих команд можно мысленно разложить как количество платящих команд, умноженное на долю активных среди них за неделю. Поэтому изменение числа платящих команд напрямую двигает ключевую метрику продукта. Визиты на сайт и подписчики в соцсетях могут быть полезны, но они слишком далеко в цепочке причин и легко ломают причинную интерпретацию. Хорошее дерево KPI держит такие метрики ниже или как вспомогательные, а не как прямые драйверы.
Подробный разбор → Другие темы: Продуктовая аналитика