North Star, KPI и иерархия метрик: вопросы для собеседования (часть 3)

North Star Metric, дерево метрик, связь между продуктовыми и бизнес-KPI — на собеседовании просят построить систему метрик для конкретного продукта. Какая метрика отражает ценность для пользователя? Как декомпозировать revenue на составляющие? Ответы на эти вопросы показывают системное мышление кандидата.

A/B-тесты в продуктовой аналитикеОсновы продуктовой аналитикиВоронки, когорты и retentionРост, активация и онбордингИнструментация и качество данныхМонетизация и юнит-экономикаПриоритизация и RICEПостановка задачи и PRDСегментация и позиционированиеСторителлинг и alignmentИсследование пользователей и JTBD

Вопросы 1115 из 20

11Сервис такси снижает отмены со стороны водителей, чтобы повысить надёжность. Какая `OMTM` наиболее точная для этой инициативы?
AКоличество новых водителей
BAverage trip distance
C`driver cancellation rate`
DКоличество просмотров промо-страницы
Ответ: Когда цель — снизить отмены, `OMTM` должна напрямую измерять отмены как результат инициативы.

Новые водители и просмотры промо-страницы могут влиять на рынок, но они не измеряют отмены напрямую. Средняя длина поездки может меняться из-за сезонности и не отражает надёжность. `Driver cancellation rate` наиболее близка к проблеме и быстро реагирует на изменения в механике принятия заказа. Дальше в `KPI tree` она связана с `lagging indicator`, например удержанием пассажиров и выручкой.

12Инициатива: улучшить поиск в интернет-магазине (релевантность и удобство). Какую `OMTM` логичнее выбрать на время инициативы?
A`DAU`
B`search to add-to-cart rate`
CМесячная выручка
D`установки приложения`
Ответ: `OMTM` должна быть близка к месту изменения и выступать `leading indicator` для заказов и выручки.

Если вы улучшаете поиск, то прямой эффект проявится в том, что пользователи чаще находят нужное и переходят к следующему шагу воронки. `Search to add-to-cart rate` отражает качество поиска и обычно меняется быстрее, чем выручка. `DAU` и установки могут не измениться, даже если поиск стал лучше. В `KPI tree` улучшение этого `leading indicator` должно вести к росту конверсии и, с задержкой, к `lagging indicator` вроде выручки.

13NSM интернет-магазина — `weekly active buyers` (пользователи с покупкой за неделю). Команда улучшает онбординг новых пользователей. Какая метрика будет хорошим `leading indicator` для будущего роста `weekly active buyers`?
AДоля новых пользователей, совершивших первую покупку в течение 7 дней
B`average order value`
C`количество обращений в поддержку`
D`выручка за квартал`
Ответ: Для роста `weekly active buyers` важен быстрый переход новых пользователей к первой покупке, это типичный `leading indicator`.

Если онбординг стал лучше, вы ожидаете, что больше новичков дойдёт до первого ценностного результата — первой покупки. Это изменение появляется раньше, чем квартальная выручка, и ближе к рычагу инициативы. `Average order value` может даже упасть при росте числа покупателей и всё равно быть здоровым сценарием. Поэтому `OMTM` для онбординга новичков логичнее строить вокруг первого успешного сценария в `KPI tree`.

14Какое утверждение наиболее корректно описывает, как использовать `OMTM` в работе команды?
A`OMTM` и `North Star Metric` всегда одно и то же
B`OMTM` означает, что остальные метрики можно перестать смотреть
C`OMTM` выбирают после релиза как метрику, которая показала наибольший рост
D`OMTM` — одна фокусная метрика на инициативу, но её дополняют `guardrail` и проверяют связь с `North Star Metric` через `KPI tree`
Ответ: `OMTM` помогает фокусироваться, но не отменяет необходимость контроля качества решения через `guardrail` и связь с `North Star Metric`.

Если смотреть только одну метрику, легко получить локальную оптимизацию: рост `OMTM` ценой ухудшения пользовательского опыта. Поэтому вместе с `OMTM` задают `guardrail` метрики и заранее понимают, где она находится в `KPI tree`. Хорошая практика — объяснить, почему выбранная `OMTM` является `leading indicator` для `North Star Metric`. Тогда решения становятся прозрачнее и менее подвержены «оптимизации не того».

15Бизнес-цель — рост подписки в B2B. Вы выбрали `North Star Metric` = `weekly active paid teams` (платящие команды, сделавшие ключевое действие за неделю). Какая метрика наиболее похожа на прямой драйвер в `KPI tree` для этой `North Star Metric`?
A`количество платящих команд`
B`визиты на маркетинговый сайт`
C`количество баг-репортов`
D`подписчики в соцсетях`
Ответ: Драйвер в `KPI tree` должен быть компонентой или ближайшей причиной изменения `North Star Metric`.

`Weekly active paid teams` можно мысленно разложить как `платящие команды` умножить на долю активных платящих команд за неделю. Поэтому изменение числа платящих команд напрямую двигает `North Star Metric`. Визиты на сайт и подписчики могут быть полезны, но они слишком далеко и легко ломают причинную интерпретацию. Хороший `KPI tree` держит такие метрики ниже или как вспомогательные, а не как прямые драйверы.

1234

Хотите тренировать интерактивно?

В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.

Тренировать в Telegram

Другие темы: Продуктовая аналитика

A/B-тесты в продуктовой аналитикеОсновы продуктовой аналитикиВоронки, когорты и retentionРост, активация и онбордингИнструментация и качество данныхМонетизация и юнит-экономикаПриоритизация и RICEПостановка задачи и PRDСегментация и позиционированиеСторителлинг и alignmentИсследование пользователей и JTBD