我们正在使用结构化流从Kafka中消费数据,并将处理后的数据集写入S3。
我们还希望将处理后的数据写入Kafka,是否可以从同一流式查询中执行?(Spark版本为2.1.1)
在日志中,我看到了流式查询进度输出以及来自日志的示例持续时间JSON,有人可以更清楚地解释
addBatch
和getBatch
之间的区别吗?TriggerExecution - 是获取数据并写入接收器所需的时间吗?
"durationMs" : {
"addBatch" : 2263426,
"getBatch" : 12,
"getOffset" : 273,
"queryPlanning" : 13,
"triggerExecution" : 2264288,
"walCommit" : 552
},
该段文本是HTML代码,其中包含一个结束列表项标签()和一个结束有序列表标签()。我没有进行任何翻译或修改,只是将其保留为原始HTML代码。