Apache NiFi на собеседовании Data Engineer

Готовься к собесу аналитика как в Duolingo
10 минут в день — SQL, Python, A/B, метрики. 1700+ вопросов в Telegram
Открыть Карьерник в Telegram

Карьерник — Duolingo для аналитиков: 10 минут в день тренируй SQL, Python, A/B, статистику, метрики и ещё 3 темы собеса. 1500+ вопросов в Telegram-боте. Бесплатно.

Что такое NiFi

Open source. Visual data flow orchestration. NSA-origin.

Source → process → transform → destination

Drag-drop в browser. Configure через UI.

Visual flow

GUI builds DAG-like processors. Connections — FlowFiles (data + metadata).

[GetFile] → [SplitText] → [InvokeHTTP] → [PutS3]

Real-time data flow visible. Track FlowFiles живущие через flow.

Processors

300+ built-in.

  • File / FTP / S3 / DB connectors.
  • HTTP / Kafka / MQTT.
  • Transformations (split, merge, route).
  • Format converters (JSON / CSV / Parquet).

Custom processors via Java.

Готовься к собесу аналитика как в Duolingo
10 минут в день — SQL, Python, A/B, метрики. 1700+ вопросов в Telegram
Открыть Карьерник в Telegram

Vs Airflow

NiFi Airflow
UI Drag-drop DAG view
Flow definition Visual Python code
Use case Streaming flows Scheduled batch
Audit Built-in provenance Limited
Code-first No Yes

NiFi — more streaming / IoT / file processing focus. Airflow — batch ETL pipelines.

В РФ NiFi popular в банках / ETL departments — visual interface приносит value non-tech analysts.

Связанные темы

FAQ

Это официальная информация?

Нет. Статья основана на документации Apache NiFi.


Тренируйте Data Engineering — откройте тренажёр с 1500+ вопросами для собесов.