根据Amazon Kinesis Streams文档，一条记录可能会传递多次。 确保只处理每个记录一次的唯一方法是将它们暂时存储在支持完整性检查的数据库中（例如DynamoDB，Elasticache或MySQL / PostgreSQL），或仅为每个Kinesis分片检查点RecordId...

我正在开发一个应用程序，该程序不断向缓冲区添加内容，同时许多读取器独立地从这个缓冲区消费内容（写入一次，多次读取）。起初，我考虑使用Apache Kafka，但由于我更喜欢作为服务的选择，因此开始调查AWS Kinesis Streams + KCL，并且似乎可以使用它们完成这项任务。 基本...

目标：通过Spark Streaming从Kinesis读取数据，并将数据以Parquet格式存储到S3中。 情况： 应用程序最初运行良好，每次处理1小时的批次，平均处理时间不到30分钟。出现某些故障导致应用程序崩溃后，我们尝试从检查点重新启动。处理现在需要永远的时间，无法向前移动。 我们尝...

我正在尝试通过Kinesis数据流传输RDS，但出现以下错误: botocore.exceptions.ClientError: 调用PutRecord操作时发生错误(ValidationException)：检测到1个验证错误: 值'arn:aws:kinesis:us-west-2...

我正在尝试使用以下设置配置Kinesis Analytics应用程序： 输入流是一个Kinesis Firehose，它正在接收字符串化的JSON值 SQL是一个简单的pass-through（它需要更复杂的操作，但为了测试，它只是传递数据） 输出流是第二个Kinesis Firehose...

我希望能够将一个输入的 AWS Kinesis 流分发/链接/复制到 N 个新的 Kinesis 流中，以便每个写入输入 Kinesis 的记录都会出现在这 N 个流中。 是否有 AWS 服务或开源解决方案可用？ 如果有现成的解决方案，我更倾向于不编写代码来实现。AWS Kinesis f...

背景 我正在学习AWS Kinesis、API网关技术。 我明白，每当请求到达API网关时，我可以将数据转发到一个流中，或者选择触发一个Lambda（它将执行一些处理）。 想法和疑问 所以，我的想法是，如果我可以直接从API网关触发Lambda（请求到达时实时），那么拥有Kinesis...

例如，我有一些从Kinesis Stream中获取消息的lambda函数。如何停止和恢复函数，以便我不会产生费用，也不会丢失数据。 我知道如果事件持续失败，Kinesis将继续重试，这可能会导致成本非常高。 我不能删除该函数，因为通过CloudFormation周围有很多自动化。有没有一种...

AWS KCL库中的检查点和修剪如何相关？ “处理启动、关闭和限流”文档页面表示： 默认情况下，KCL从流的末尾开始读取记录；也就是最近添加的记录。在这种配置下，如果数据生成应用程序在任何接收记录处理器运行之前向流添加记录，则这些记录在它们启动后不会被记录处理器读取。 要更改记录处理器的行...

有没有一种方法可以从Lambda函数向Kinesis流推送数据？ 我已经在互联网上搜索过，但没有找到任何相关的示例。 谢谢。