Метрики AI-продукта и LLM

Зачем измерять AI-продукт

AI-фича на базе LLM ломает привычную аналитику: у ответа модели нет однозначно «правильного» значения, как у SQL-запроса. Один и тот же промпт может дать разный текст, и «хорошо» здесь — это про полезность, достоверность и стоимость, а не про бинарный успех. Поэтому у AI-продукта свой слой метрик поверх классических продуктовых: качество генерации, качество поиска, стоимость инференса и то, как пользователи реально принимают ответы.

Спрос на этот слой вырос вместе с волной AI-фич в 2025–2026: почти каждый крупный продукт добавил ассистента, поиск на эмбеддингах или генерацию. На собеседованиях AI-аналитика и AI-продакта теперь спрашивают не только про retention и конверсию, но и про то, как измерить, что ассистент не врёт и не разоряет компанию на токенах. Свести эти метрики в систему и потренировать вопросы можно в Карьернике.

Ниже — карта метрик AI-продукта по блокам: качество ответов, RAG-поиск, стоимость и скорость, продуктовое принятие, ассистент поддержки.

Метрики качества ответов

Качество генерации — самый сложный блок, потому что его нельзя посчитать одним SQL-запросом, нужна разметка или модель-судья (LLM-as-a-judge).

• Hallucination rate — доля ответов с выдуманными фактами. Ключевая метрика доверия; ниже разбираем её расчёт отдельно.
• Groundedness (faithfulness) — доля утверждений в ответе, подтверждённых предоставленным контекстом. Обратная сторона галлюцинаций.
• Answer relevance — насколько ответ отвечает на заданный вопрос, а не уходит в сторону.
• Feedback rate (thumbs-up) — доля ответов, которым пользователь поставил лайк. Дешёвый онлайн-сигнал качества, но смещённый: оценивают меньшинство.
• Refusal rate — доля запросов, где модель отказалась отвечать. Высокий refusal бьёт по полезности, слишком низкий — риск небезопасных ответов.

Качество редко меряют одной цифрой. Обычно комбинируют офлайн-оценку на фиксированном наборе (эталонные вопросы с разметкой) и онлайн-сигналы от пользователей. Подробнее про подходы к оценке — в разборе LLM-evals и галлюцинаций.

Метрики RAG и поиска

Если AI-продукт использует RAG (retrieval-augmented generation), качество ответа наполовину определяется качеством поиска по базе знаний. Плохой retrieval — и даже идеальная модель ответит мимо.

Ключевая ловушка RAG — разделять оценку retrieval и generation. Если ответ плохой, сначала смотрят, нашёл ли поиск нужный контекст (precision/recall), и только потом — правильно ли модель им воспользовалась (groundedness). Подробнее — в разборах RAG на собесе и оценки RAG.

Метрики стоимости и скорости

В отличие от обычной фичи, каждый вызов LLM стоит реальных денег и заметного времени. Поэтому экономика инференса — полноценный блок метрик, а не техническая деталь.

• Token cost per request — средняя стоимость токенов на один ответ (вход плюс выход). Основа юнит-экономики AI-фичи.
• Cost per active user — сколько инференс обходится в расчёте на активного пользователя за месяц. Именно это сравнивают с выручкой, чтобы понять маржинальность фичи.
• TTFT (time to first token) — задержка до появления первого токена. Для чата важнее общей длительности: пользователь видит, что ответ пошёл.
• Latency p95 — время полного ответа по 95-му перцентилю. Средняя задержка обманчива, хвост важнее.
• Tokens per second — скорость генерации, влияет на воспринимаемую отзывчивость.

Стоимость и качество почти всегда в конфликте: модель побольше отвечает лучше, но дороже и медленнее. Работа AI-аналитика — найти баланс, а для этого нужно мерить обе стороны. Про оптимизацию стоимости и скорости — в разборе inference optimization.

Продуктовые метрики AI-фичи

Даже при хорошем качестве и разумной цене AI-фича должна приносить пользу продукту. Здесь работают адаптированные продуктовые метрики.

Основные: adoption rate (доля пользователей, попробовавших фичу), acceptance rate (доля предложений AI, которые пользователь принял без изменений — ключевая метрика для копайлотов), edit distance (насколько сильно пользователь правит сгенерированный текст — косвенная оценка качества), task completion rate (доля сессий с ассистентом, закончившихся решением задачи), retention lift (насколько retention пользователей AI-фичи выше, чем у остальных). Acceptance rate и edit distance особенно ценны тем, что это неявная оценка качества прямо в проде, без отдельной разметки.

Метрики AI-ассистента поддержки

Отдельный и очень частый кейс — ассистент в клиентской поддержке, потому что у него прямой и считаемый бизнес-эффект: экономия на операторах.

Ключевые метрики: containment rate (доля обращений, полностью решённых ассистентом без человека), deflection rate (доля обращений, которые не дошли до оператора), escalation rate (доля переданных человеку), CSAT ответов ассистента, self-service resolution. Containment — главная метрика окупаемости: она напрямую переводится в сэкономленные часы операторов. Но гнаться только за ней опасно: если ассистент «удерживает» обращение, не решая проблему, containment растёт, а CSAT падает, и пользователь уходит раздражённым. Поэтому containment всегда читают в паре с удовлетворённостью.

Метрики по типу AI-фичи

Набор метрик зависит от того, что именно делает AI-фича, и сильный ответ на собесе начинается с уточнения типа.

Чат-ассистент. В центре — качество ответов (hallucination rate, groundedness), стоимость и скорость (TTFT, cost per active user) и продуктовое принятие: доля решённых сессий и feedback rate. Для ассистента важен и refusal rate: слишком осторожная модель, которая постоянно отказывается отвечать, бесполезна.

Поиск на эмбеддингах и RAG. Главное — качество retrieval: precision@k, recall@k, retrieval hit rate, context relevance. Ошибка ответа тут почти всегда начинается с ошибки поиска, поэтому метрики поиска первичны, а метрики генерации вторичны.

Генерация и копайлот (код, тексты, дизайн). Ключевые метрики — acceptance rate (доля предложений, принятых без правок) и edit distance (насколько пользователь правит результат). Это неявная оценка качества прямо в проде: чем меньше правят, тем точнее модель попадает в задачу.

От типа фичи зависит, какие метрики ставить в основу, поэтому уточняющий вопрос «что именно за AI-фича» на собесе ценится выше, чем сразу вывалить список метрик.

Частые ошибки

Главная ошибка — мерить AI-фичу одной метрикой. Качество, стоимость и скорость в конфликте между собой, и оптимизация одной цифры ломает остальные. Правильная рамка — набор метрик по всем блокам с явными компромиссами между ними.

Вторая ошибка — путать онлайн- и офлайн-оценку. Feedback rate от пользователей смещён (оценивают немногие и чаще в крайних случаях), а офлайн-оценка на фиксированном наборе не ловит реальное распределение запросов. Здоровый процесс использует и то, и другое.

Третья ошибка — забывать про стоимость. AI-фича с отличным качеством, но стоимостью инференса выше выручки на пользователя, убыточна. Cost per active user — метрика, которую на собесе часто не вспоминают, а зря: без неё нельзя судить о жизнеспособности фичи. Особенно это критично для бесплатных фич, где инференс не окупается напрямую и его нужно оправдывать через retention или конверсию в платный продукт.

Связанные темы

• LLM-evals и галлюцинации на собесе
• RAG на собеседовании
• Оценка качества RAG
• Оптимизация инференса
• Работа AI-продакт-менеджера

FAQ

Как измерить, что LLM не галлюцинирует?

Через hallucination rate и groundedness. Берут выборку ответов, для каждого проверяют, подтверждаются ли утверждения предоставленным контекстом или проверяемыми фактами. Долю ответов с выдумками считают hallucination rate. Разметку делают вручную на небольшой выборке или через модель-судью на большой, сверяясь с людьми.

Какие метрики AI-продукта спрашивают на собеседовании?

Обычно просят предложить метрики для конкретной AI-фичи — ассистента, поиска, генерации. Ценят, если кандидат покрывает все блоки: качество ответов, качество поиска для RAG, стоимость и скорость инференса, продуктовое принятие. Сильный ответ явно называет компромиссы: качество против стоимости, containment против CSAT.

Чем метрики AI-продукта отличаются от обычных продуктовых?

Классические метрики (retention, конверсия, LTV) остаются, но поверх них появляется слой, которого нет у обычной фичи: у ответа модели нет однозначно правильного значения, каждый вызов стоит денег и времени, а качество приходится оценивать разметкой или моделью-судьёй. Поэтому добавляются метрики качества генерации, RAG-поиска и экономики инференса.

Что такое containment rate и почему за ним нельзя гнаться в одиночку?

Containment rate — доля обращений в поддержку, полностью решённых AI-ассистентом без человека. Это главная метрика окупаемости, потому что переводится в сэкономленные часы операторов. Но если ассистент удерживает обращение, не решая проблему, containment растёт, а CSAT падает. Поэтому его всегда читают вместе с удовлетворённостью пользователей.