LLM-фичи в продукте на собесе AI PM
Зачем понимать LLM-фичи на собесе AI PM
LLM (GPT, GigaChat, YandexGPT) изменили продуктовый ландшафт в 2023-2024. AI PM в 2026 должен уметь решать: где LLM добавляет реальную ценность, где это маркетинг ради инвесторов, где риски перевешивают пользу. На собесе AI PM типовой кейс — «спроектируй AI-фичу для X».
Слабый ответ — «добавим chatbot». Сильный — про job-to-be-done, UX integration, business case, риски, fallback.
Типы LLM-фич в продукте
1. Conversational (chatbot, ассистенты):
- Customer support
- In-app помощник
- Risk: hallucinations, off-topic
- Examples: Карьерник AI-объяснение, Notion AI, GitHub Copilot Chat
2. Generative content:
- Drafts (emails, posts, ads)
- Summarization
- Image / video generation (если multimodal)
- Risk: low quality outputs, copyright
3. Search (semantic):
- Заменяет keyword search
- RAG над собственным контентом
- Risk: relevance vs latency
4. Classification / extraction:
- Sentiment, intent detection
- Structured extraction из неструктур. текста
- Часто заменяет traditional NLP с меньшей разработкой
5. Coding / data transformation:
- SQL gen, formula gen, code review
- Examples: Cursor, Codeium
6. Agents (multi-step):
- Автоматизация задач
- LLM + tools (calculator, search, API)
- Risk: cascading errors
Когда LLM добавляет ценность
Good fit:
- Unstructured input (text, voice)
- Many edge cases, rules-based не работает
- Personalization вне scope rule-based
- User explicitly wants conversational interaction
Bad fit:
- Точность критична (lawsuits, медицина без human review)
- Простая логика (rule-based быстрее, дешевле)
- Reproducibility важна
- Cost prohibitive at scale
Test: «Если 5% ответов будут wrong — это OK?» Если нет — нужны дополнительные проверки или не использовать.
UX для AI-фич
Loading states:
- AI отвечает не моментально (1-10s). Loading indicator critical.
- Streaming output (token-by-token) — стандарт в 2026.
Confidence indicators:
- AI не должен звучать уверенно, если он неуверен.
- Source citations (RAG) — пользователь видит, откуда взято.
Edit / regenerate:
- User должен иметь easy way fix mistake AI.
- Regenerate button — must.
Fallback:
- Если AI fails / unavailable → graceful degradation.
- Не блокировать flow на AI.
Риски и mitigation
Hallucinations:
- LLM уверенно лжёт
- Mitigation: RAG, structured outputs, human-in-loop
- См. метрики и evaluation
Bias:
- LLM trained на bias data
- Mitigation: testing на разных demographics, output filters
Privacy:
- PII в prompts → leak risk
- Mitigation: pre-prompt sanitization, on-prem inference
Cost runaway:
- Per-token pricing → масштабирование = $$$$
- Mitigation: caching, smaller models, rate limits
Safety / harmful content:
- Inappropriate outputs
- Mitigation: content filters, prompt guards
Бизнес-кейсы
Карьерник AI-объяснение:
- LLM generates explanation для тренировки
- Trade-off: cost per request vs paywall conversion
- Метрика: время в продукте после AI-feature
Customer support deflection:
- AI handles 60% tickets
- Метрика: deflection rate, CSAT (важно не упасть)
Content drafts:
- LinkedIn / blog post drafts
- Метрика: time saved per piece, draft acceptance rate
Search semantic:
- Заменяет keyword search
- Метрика: search → click conversion, time to find
Типичные вопросы
«Спроектируй AI-помощник для X»
- Audience и JTBD: что user ждёт?
- Где LLM реально добавляет value vs rule-based?
- UX: streaming, edit, fallback.
- Risks: hallucinations, cost. Mitigation.
- Metrics: leading + lagging.
- MVP scope: что в первой итерации.
«AI-фича стоит $$$. Как обосновать ROI?»
Cost per request × usage. Revenue impact (paywall conversion / retention uplift). Compare with savings (support deflection) or new revenue. Sensitivity analysis.
«Hallucinations — главная проблема. Как handle?»
RAG (ground в источниках). Output validation. Human-in-loop для critical. UX confidence indicators. Не использовать LLM для high-stakes без override.
«Кто owner LLM-фичи: PM, ML, DS?»
PM owns product. ML / DS owns model. AI PM — мост: знает достаточно ML, чтобы spec правильно, знает достаточно бизнеса, чтобы prioritize.
Частые ошибки
- AI ради AI. «Конкуренты добавили chatbot → нам надо».
- Игнор hallucinations. В критичных flows = катастрофа.
- Без cost модели. На масштабе LLM-фича может уничтожить unit economics.
- Без UX для confidence. User trust абсолютный → все ошибки воспринимаются как bug.
- Без A/B-тестов. AI-фичи нужно валидировать, не просто запустить.
FAQ
Build vs buy для LLM?
OpenAI / Anthropic / Yandex / Sber API — для most cases. In-house — для regulated данных или massive scale.
Какие LLM в РФ?
YandexGPT (Yandex), GigaChat (Сбер), in-house у других. OpenAI / Claude — недоступны легально.
Сколько стоит LLM-фича?
$0.001-0.10 per request, depending on model + tokens. На 1M запросов в месяц = $1k-$100k.
Fine-tuning или RAG?
RAG чаще — дешевле, легче update. Fine-tune для consistent style / format.
Будут ли LLM-фичи стандартом?
Уже становятся. AI PM роль — рост в 2026-2027.