ML и AI для PM на собеседовании
Зачем ML на собесе PM
В 2026 каждый продукт имеет ML-компонент: рекомендации, поиск, антифрод, персонализация. Senior PM не должен уметь обучать модели — но должен правильно ставить ML-задачу, выбирать метрики, оценивать trade-offs.
На собесе продуктового менеджера ML спрашивают через кейсы «спроектируй recommendation system», «улучши search ранжирование». Слабый ответ — «обучим модель». Сильный — про business goals, метрики, baseline, data, риски.
ML-vs-классическое-программирование
Классика: «if user clicked X, show Y». Правила prescribed.
ML: «учимся на данных, что лучше работает». Правила derived.
Когда ML:
- Pattern сложный или меняется (рекомендации)
- Много данных
- 100% точность не нужна
- Tolerable false positives / negatives
Когда rule-based:
- Простая логика
- Низкий тираж (нет данных для обучения)
- Compliance / regulatory (объяснимость требуется)
- Edge cases должны быть гарантированы
Типы ML-задач
Supervised:
- Classification: spam / not spam, churn predict, fraud detection
- Regression: price prediction, ETA
Unsupervised:
- Clustering: customer segments
- Anomaly detection: fraud, network attacks
- Dimensionality reduction: feature compression
Recommendation:
- Content-based: «похожее на это»
- Collaborative filtering: «другие тоже смотрели»
- Hybrid: combine both
Ranking:
- Search results, feed ranking
- Multi-objective: relevance × diversity × freshness
Generative AI (2023+):
- LLMs: text generation, summarization, agents
- Image: Midjourney, DALL-E
- Video, audio, music
ML-метрики
Classification:
- Accuracy: % correct. Может ложь на imbalanced
- Precision: из predicted positive, сколько true
- Recall: из actual positive, сколько caught
- F1: harmonic mean precision и recall
- AUC-ROC: discrimination across thresholds
Regression: MAE, RMSE, MAPE.
Ranking: NDCG, MAP, MRR.
Recommendations: CTR, conversion, watch time, diversity, novelty.
Business: revenue, retention, engagement — что считается в business OKR.
Подробнее — метрики на собесе PM.
Precision vs Recall trade-off
Threshold — главный hyperparameter.
High precision, low recall: «уверены, но мало». Антифрод (не злить честных users).
High recall, low precision: «много, но шум». Medical screening (lose никого).
Balance: F1 / business cost analysis.
Senior PM объясняет, какой trade-off OK для domain.
Baseline и iteration
Перед ML — baseline:
Rule-based baseline:
- «Рекомендуй top-5 popular» = baseline для recommendation
- Если ML не beats baseline → broken model или ML не нужен
Iteration:
- Simple model first (logistic regression, decision tree)
- Validate подход на small data
- Scale up если работает
Senior PM не позволяет команде сразу прыгнуть в deep learning без baseline.
ML stack ownership
Где PM, где DS, где DE, где MLE?
- PM: problem definition, success metrics, prioritization
- DS: model selection, training, evaluation
- DE: data pipeline, features in production
- MLE: deployment, monitoring, scaling
В small team PM + DS overlap, в big team разделено. Senior PM умеет collaborate с DS.
Production ML challenges
Data drift: distribution входов меняется → model stale. Нужен monitoring + retrain pipeline.
Cold start: new users / items без history. Hybrid recommendation / rules baseline.
Feedback loops: model recommends X → users click X → model thinks X popular → recommends X ещё больше. Filter bubbles.
Bias: training data biased → model biased. Examples: hiring AI, loan AI с расовой/гендерной bias.
Cost: GPU inference дорог. Trade-off accuracy vs cost.
Latency: real-time inference требует optimization. Quantization, distillation.
AI-эра 2026
LLMs изменили продуктовый ландшафт:
AI-features в продуктах:
- AI-объяснения (Карьерник: GPT explains почему ответ правильный)
- Smart search (semantic, not keyword)
- Automated content (drafts, summaries)
- Agents (multi-step task automation)
Trade-offs:
- Hallucinations: LLM уверенно лжёт
- Cost per inference: $0.001 to $0.10+ per request
- Latency: 1-10 sec — for many UIs unacceptable
- Privacy: PII в prompts → leak risk
Стратегия:
- AI augments, не replaces (most cases)
- Always human-in-the-loop для critical
- Cache common queries
- Fine-tune на own domain для quality boost
Объяснимость и compliance
В банках / медицине explainability mandatory.
Tools:
- SHAP, LIME — feature importance
- Counterfactuals: «изменив X, output изменился бы»
Trade-off: complex models (deep learning) — higher accuracy, lower interpretability. Linear models — opposite.
В 2026 EU AI Act + аналогичные RU regulation требуют документации высокорисковых ML systems.
Типичные вопросы
«Спроектируй recommendation system для маркетплейса»
- Business goal: GMV uplift? Retention?
- User segments: new vs returning.
- Cold start strategy: popular + content-based.
- Recommendation type: hybrid collaborative + content.
- Metrics: CTR, conversion, diversity, GMV.
- A/B-test plan.
- Risks: filter bubbles, popular item monopoly.
«ML / AI стоит ли добавлять в фичу?»
- Rule-based baseline возможен? Сколько даёт?
- Достаточно ли данных для ML?
- Cost (compute + team) vs benefit?
- Risks (errors, fairness, explainability)?
- Если ML > baseline по cost-adjusted ROI — да.
«Hallucinations LLM — как mitigate?»
- Retrieval-augmented generation (RAG): ground в reliable sources.
- Human-in-the-loop для critical outputs.
- Constrained generation: limit на known choices.
- Confidence scores.
- Communicate users что output — assist, not authoritative.
«AB-тест ML модели?»
- Random split traffic 50/50 (или canary 5/95).
- Compare метрики baseline vs new.
- Statistical significance.
- Guard-rails: следить за business metrics, не только model metrics.
Частые ошибки
- ML for the sake of ML. «Добавим AI» без business case
- No baseline. Не знаем, beats ли простую логику
- Ignore data quality. Garbage in → garbage out
- Focus только на model metrics. Accuracy ↑, business ↓
- No monitoring. Drift через 3 месяца → model broken
FAQ
PM должен знать математику ML?
Концептуально (что такое gradient descent, loss function, overfitting). Глубоко — нет. DS знает.
Сколько данных нужно для ML?
Простые классификаторы — 1000s rows. Deep learning — 100K+ или transfer learning. Recommendation — millions interactions.
AI-фичи в Карьернике?
GPT для объяснений (paywall фича). AI-мок-собес. Smart hints. Personalization (что показать дальше).
Risk от AI в продукте?
Hallucinations, bias, privacy, cost, latency. Mitigate через monitoring, RAG, human review, A/B.
Какие книги по ML для PM?
«Building Machine Learning Powered Applications» (Emmanuel Ameisen), «AI Product Management» курс Coursera. Глубже — Andrew Ng ML specialization.