9得票2回答
NIFI - 开发到测试到生产

我们正在努力尝试找到在开发、测试和生产阶段中流程进展时更新处理器配置的最佳方法。我们真的很想避免在将流程部署到特定环境时操纵处理器中的主机、端口等引用。至少在我们的情况下,对于像ElasticSearch、PostGres等东西,我们将有不同的主机。其他人是如何处理这个问题的? 我们考虑过以...

7得票1回答
Nifi“PutSQL”的越界异常。

我正在尝试使用“PutSQL”处理器来实现这一点。 我使用“ReplaceText”修改流文件并创建一个INSERT语句。我已经在MySQL数据库中测试了该语句,并且该语句有效。 以下是该语句: INSERT INTO monitor.security_nifi (RemoteI...

12得票2回答
我如何查看处理器的FlowFile或标准输出(STDOUT)?

当事情失败时,我想查看流文件或有问题的处理器的输出(stdout+stderr)。是否有一种简单的方法可以转储所有Flowfile的属性,或者只是浏览Flowfile?

7得票3回答
在NiFi中,是否有可能从CSV文件的标题名称中删除空格?

我有一个CSV文件,其中一些列名有空格,而另一些列名没有字符之间的空格。我想从所有具有空格的标题名称中删除空格。请帮忙,谢谢! 附上参考截图。例如:'First Name' 我想要 'FirstName' 我正在使用ReplaceText处理器,在搜索值下输入了\s以仅搜索标题行中的空格,...

34得票3回答
Nifi和Mini NiFi(MiNiFi)的区别

我只想知道 MiniFi 与 NiFi 有何不同? 我们是否具有任何额外的功能?为什么需要引入它? 任何想法或链接都将是巨大的帮助。

10得票2回答
在Apache NiFi中,是否可以增加/减少控制器的范围?

在Apache NiFi中,我在适当的范围内创建了一个控制器。现在我想在其他地方使用相同的控制器。我的问题是,我可以将作用域更改为当前处理器组的祖先,以便其他处理器组可以使用它吗? 谢谢。

10得票1回答
从InvokeHTTP POST获取响应

第一次使用NiFi! 我正在使用InvokeHTTP nifi处理器(使用此链接作为示例来实现我的流程http://www.tomaszezula.com/2016/10/30/nifi-and-http-post-configuration/)。我目前需要进行POST以对我正在使用的服务器...

8得票2回答
Apache NiFi - SplitText处理器出现 OutOfMemory 错误:GC overhead limit exceeded

我正在尝试使用HDF 1.2中的NiFi处理大型CSV文件(每个文件可能有数十亿条记录)。我已经实现了我的工作流程,并且对于小文件,一切正常。 问题在于,如果我尝试将文件大小增加到100MB(1M条记录),SplitText处理器负责将文件拆分为单个记录时会出现java.lang.OutOf...

8得票2回答
Spark同时在同一HDFS目录上进行并发写入

我有一段Spark代码,它以追加模式将数据帧以Json格式保存到HDFS位置(日期分区位置)。 df.write.mode("append").format('json').save(hdfsPath) sample hdfs location : /tmp/table1/datepart=...

19得票1回答
Apache Beam与Apache Nifi的区别

Apache Beam和Apache Nifi的使用案例是什么?它们似乎都是数据流引擎。如果两者具有相似的用例,哪一个更好呢?