51得票4回答
TRIM_HORIZON和LATEST的区别

在正式的AWS Kinesis文档中,我找不到TRIM_HORIZON和检查点之间的任何明确参考,也没有LATEST和检查点之间的任何参考。请问您是否可以确认我的理论: TRIM_HORIZON - 如果应用程序名称是新的,则会读取流中所有可用的记录。否则,如果应用程序名称已经被使用,则会...

20得票3回答
亚马逊KCL检查点和修剪地平线

AWS KCL库中的检查点和修剪如何相关? “处理启动、关闭和限流”文档页面表示: 默认情况下,KCL从流的末尾开始读取记录;也就是最近添加的记录。在这种配置下,如果数据生成应用程序在任何接收记录处理器运行之前向流添加记录,则这些记录在它们启动后不会被记录处理器读取。 要更改记录处理器的行...

7得票1回答
如何处理AWS Kinesis中的重新处理场景?

我正在探索AWS Kinesis,以替换旧的批处理ETL处理方式,采用基于流的方法进行数据处理。 这个项目的一个关键要求是在以下情况下能够重新处理数据: - 发现并修复了错误,并重新部署应用程序。需要从头开始重新处理数据。 - 添加新功能并需要完全或部分重新处理历史记录。 这些方案在Ka...

7得票1回答
如何在AWS Kinesis中使用ExplicitHashKey进行轮询流分配

我正在尝试通过Amazon Kinesis传输大量数据(每秒约10,000个点)。 为了最大化每秒钟通过我的分片的记录数,我想要在分片上轮询我的请求(我的应用程序逻辑不关心单个消息进入哪个分片)。 看起来我可以在发送到PutRecords端点的列表中的消息的ExplicitHashKey参...

7得票1回答
Kinesis客户端库记录处理器故障

根据AWS文档,工作程序使用Java ExecutorService任务调用记录处理器方法。如果任务失败,工作程序将保留记录处理器正在处理的分片的控制权,并启动一个新的记录处理器任务来处理该分片。有关更多信息,请参阅读取限制。 根据AWS文档中的另一页,Kinesis客户端库(KCL)依赖于...