Airflow vs Prefect vs Dagster на собеседовании Data Engineer

Airflow

Industry standard. DAG-based с Python.

Pros: mature, huge ecosystem, providers.

Cons: old design, verbose, scheduler bottleneck legacy.

Prefect

Python-native, simpler API.

Pros: dynamic flows (loops, conditionals), simpler.

Cons: smaller ecosystem чем Airflow.

from prefect import flow, task

@task
def process(item):
    return item * 2

@flow
def my_flow(items):
    return [process(i) for i in items]

Dagster

Asset-centric. Models data products, не jobs.

Pros: strong typing, asset lineage, partitioning native.

Cons: different paradigm — learning curve.

from dagster import asset

@asset
def raw_data(): ...

@asset
def cleaned_data(raw_data): ...

@asset
def aggregated(cleaned_data): ...

Сравнение

В РФ Airflow — стандарт. Новые проекты иногда Prefect / Dagster.

Связанные темы

• Airflow на собесе DE
• Airflow Sensors для DE
• Airflow XCom для DE
• dbt на собесе DE
• Подготовка к собесу Data Engineer

FAQ

Это официальная информация?

Нет. Статья основана на документации Airflow / Prefect / Dagster.

Тренируйте Data Engineering — откройте тренажёр с 1500+ вопросами для собесов.