Airbnb Airflow和Apache Nifi的比较

Question

Airflow和Nifi在工作流方面担任相同的职责吗？ 对于每个工具，有什么优缺点？ 我需要读取一些JSON文件，添加更多的自定义元数据，并将其放入Kafka队列以进行处理。 我已经能够在Nifi中完成此操作。 我还在使用Airflow进行尝试。 我正在尝试选择最适合我的项目的工作流引擎。 谢谢！

- CMPE

---

Airflow是一个调度程序和数据编排工具。它不应该用于数据管道。而NIFI可以用于数据管道。 - ns15

Answer 1

要了解Airflow和Apache NiFi的概述，请查看此Reddit帖子：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/ 对于您特定的用例，即摄取Json文件，丰富它们并将它们路由到Kafka，我认为NiFi是适合工作的正确工具。 您可以使用以下一些处理器以及每个处理器的文档：

GetFile：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.GetFile/index.html JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html PublishKafka（或PublishKafka_0_10，具体取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html

- JDP10101