Apache NiFi на собеседовании Data Engineer
Карьерник — Duolingo для аналитиков: 10 минут в день тренируй SQL, Python, A/B, статистику, метрики и ещё 3 темы собеса. 1500+ вопросов в Telegram-боте. Бесплатно.
Содержание:
Что такое NiFi
Open source. Visual data flow orchestration. NSA-origin.
Source → process → transform → destinationDrag-drop в browser. Configure через UI.
Visual flow
GUI builds DAG-like processors. Connections — FlowFiles (data + metadata).
[GetFile] → [SplitText] → [InvokeHTTP] → [PutS3]Real-time data flow visible. Track FlowFiles живущие через flow.
Processors
300+ built-in.
- File / FTP / S3 / DB connectors.
- HTTP / Kafka / MQTT.
- Transformations (split, merge, route).
- Format converters (JSON / CSV / Parquet).
Custom processors via Java.
Vs Airflow
| NiFi | Airflow | |
|---|---|---|
| UI | Drag-drop | DAG view |
| Flow definition | Visual | Python code |
| Use case | Streaming flows | Scheduled batch |
| Audit | Built-in provenance | Limited |
| Code-first | No | Yes |
NiFi — more streaming / IoT / file processing focus. Airflow — batch ETL pipelines.
В РФ NiFi popular в банках / ETL departments — visual interface приносит value non-tech analysts.
Связанные темы
- Airflow на собесе DE
- Kafka Connect для DE
- Airflow vs Prefect для DE
- CDC vs batch loading для DE
- Подготовка к собесу Data Engineer
FAQ
Это официальная информация?
Нет. Статья основана на документации Apache NiFi.
Тренируйте Data Engineering — откройте тренажёр с 1500+ вопросами для собесов.