24得票2回答
如何处理Amazon Kinesis记录的重复数据?

根据Amazon Kinesis Streams文档,一条记录可能会传递多次。 确保只处理每个记录一次的唯一方法是将它们暂时存储在支持完整性检查的数据库中(例如DynamoDB,Elasticache或MySQL / PostgreSQL),或仅为每个Kinesis分片检查点RecordId...

7得票1回答
如果一个AWS Lambda函数有多个Kinesis流的事件源,那么传入记录的批次是来自单个Kinesis流还是混合的?

标题可能有点令人困惑,我尽力使它更清晰。 假设我有一个 AWS Lambda 函数,它有两个不同的 Kinesis 流 A 和 B 作为输入事件源。 因此,对于下面的内容,由于 KinesisEvent 实例包含一批记录,该批记录是否包含来自单个流的记录,还是实际上它包含来自 A 和 B ...

16得票1回答
Kinesis数据流中的“shards”是什么?

什么是Kinesis数据流中的分片(shards)和分区键(partition key)?我阅读了AWS文档,但是还是不太理解。能否用简单易懂的语言解释一下?

9得票1回答
Kinesis Streams 和 Kinesis Firehose 有什么区别?

Firehose是完全托管的,而Streams需要手动管理。 如果其他人知道其他重要的区别,请添加。 我只是在学习。谢谢。

21得票4回答
我能自动将换行符附加到AWS Firehose记录吗?

我正在尝试使用以下设置配置Kinesis Analytics应用程序: 输入流是一个Kinesis Firehose,它正在接收字符串化的JSON值 SQL是一个简单的pass-through(它需要更复杂的操作,但为了测试,它只是传递数据) 输出流是第二个Kinesis Firehose...

12得票1回答
亚马逊Kinesis与AWS管理服务Kafka(MSK)-(从本地连接)的比较

我正在评估 AWS Kinesis 和托管服务 Kafka (MSK)。我们的需求是将一些消息(JSON)从本地系统(使用C++开发的系统)发送到 AWS,然后需要将上述消息持久化到关系型数据库中,例如 PostgreSQL,并同时将上述数据流式传输到托管在 AWS 中的其他微服务(Java)...

13得票2回答
如何确定AWS Kinesis流中分区键的总数?

在生产者-消费者的 Web 应用程序中,为 Kinesis Stream 分片创建分区键应该遵循什么思路?假设我有一个具有 16 个分片的 Kinesis 流,那么我应该创建多少个分区键呢?这是否真的取决于分片数量?

7得票2回答
使用AWS Lambda函数写入Kinesis流

我们能否创建一个Lambda函数,当我们写入Dynamo DB表中的记录并且该记录被写入Kinesis流时,该函数就会执行?基本上,我们是否可以使用Lambda函数将数据写入Kinesis流?如果是,请分享一份关于此的示例代码。我也想知道这是如何工作的...谢谢

8得票1回答
亚马逊AWS Kinesis视频Boto GetMedia/PutMedia

有人知道如何使用boto3 sdk将视频发送到kinesis视频流的完整示例吗? 最初这个问题是针对GetMedia和PutMedia两者提出的。现在我已经获得了GetMedia部分的示例代码: client = boto3.client('kinesisvideo') response ...

32得票6回答
亚马逊Kinesis和保证顺序

亚马逊声称他们的Kinesis流式产品保证了记录的排序。 它提供记录排序功能,以及读取和/或重播记录的能力,按照相同的顺序(...) Kinesis由流(Streams)组成,它们本身又由一个或多个Shard组成。记录存储在这些Shard中。我们可以编写消费者应用程序连接到一个Sh...