来自$NIFI_HOME/logs/nifi-app.log的输出: 2016-10-26 12:45:13,304 ERROR [Timer-Driven Process Thread-6] o.apache.nifi.processors.standard.PutSQL org.apac...
我正在尝试使用PUT方法在rest api的/processors/{id}中停止运行状态的处理器。 我能够通过更改组件中的状态来启动处理器,如下所示:"state": "RUNNING",并在聚合快照中将runStatus设置为"runStatus": "Running"。 同样,我尝试...
我有多个Nifi服务器,我想从脚本通过REST接口向它们中的任意一个POST模板。 "/controller/templates"这个端点似乎是支持在Nifi安装中POST任意模板的正确REST端点。 “snippetId”字段让我感到困惑,我如何确定“组成模板内容的片段的ID”?是否有人...
我正在尝试使用HDF 1.2中的NiFi处理大型CSV文件(每个文件可能有数十亿条记录)。我已经实现了我的工作流程,并且对于小文件,一切正常。 问题在于,如果我尝试将文件大小增加到100MB(1M条记录),SplitText处理器负责将文件拆分为单个记录时会出现java.lang.OutOf...
在发布关于Apache NiFi InvokeHTTP的问题之前,我已经阅读了所有其他问题及其答案,但我仍不确定我应该选择哪种最佳流程。我的情况如下: 1)从Apache Kafka获取原始元数据。 2)使用EvaluateJSONPath获取所需属性。 3)使用RouteOnAttri...
我有一段Spark代码,它以追加模式将数据帧以Json格式保存到HDFS位置(日期分区位置)。 df.write.mode("append").format('json').save(hdfsPath) sample hdfs location : /tmp/table1/datepart=...
我正在使用docker运行NiFi,并将所有相关目录作为卷挂载。我试图修改nifi.properties文件中的一些设置,特别是添加自定义属性文件。但是,当我重新启动NiFi时,一些属性会恢复到它们的原始值。 以下是我的当前nifi.properties文件示例: nifi.ui.auto...
在Apache NiFi中,使用FetchS3Object从S3存储桶中读取时,我发现它可以读取存储桶中的所有对象,并在添加对象时进行读取。有以下几点需要注意: 是否可能将该处理器配置为仅读取从当前时间开始添加的对象,而非已经存在的对象? 如何使其只读取存储桶中的特定文件夹? NiFi...
我已经长时间使用Apache Camel,并发现它是一种非常棒的解决方案,适用于各种系统集成相关的业务需求。但是几年前,我接触到了Apache Nifi解决方案。通过一些搜索,我发现尽管Nifi可以作为ETL工具使用,但实际上它是用于流处理的。 在我看来,“哪个更好”是一个非常糟糕的问题,因...