我有两个Spark流，第一个流中包含与产品相关的数据：供应商价格、货币、描述和供应商ID。这些数据通过分析描述和美元价格猜测类别进行增强。然后将它们保存在一个parquet数据集中。 第二个流包含有关这些产品拍卖的数据，然后是它们被售出的成本和日期。 考虑到一个产品可能今天出现在第一个流中...

阅读两种服务（Firehose 和 Streams）的文档后，听起来 Firehose 是“接近”实时的，可能在产生消息到发射之间有 60 秒的延迟，而 Streams 的文档没有提到这个潜在的延迟。请问有没有任何现实世界的见解，关于消息传递时间方面的差异？ 【注】链接到 Firehose ...

Firehose是完全托管的，而Streams需要手动管理。 如果其他人知道其他重要的区别，请添加。 我只是在学习。谢谢。

当Lambda被订阅到Kinesis创建事件时，有人能解释一下事件会发生什么。在AWS帐户中，存在100个并发请求的限制，所以如果向kinesis添加了1,000,000项，事件如何处理？它们是否排队等待下一个可用的Lambda并发请求？

我知道Kinesis Stream中的数据记录将在24小时后自动删除。但是在我的应用程序中，每当我向流中写入一些数据时，第二次如果我想写入其他数据，则应该删除第一次插入的数据。请有经验的人帮助我，因为我是第一次使用AWS Kinesis Stream... 我没有从 Kinesis Servi...

我有一个使用情况，其中会有一系列的数据流进来，而我无法以相同的速度消耗它们，因此需要一个缓冲区。这可以使用SNS-SQS队列来解决。我了解到Kinesis也可以解决同样的问题，那么它们之间有什么区别？为什么应该选择（或不选择）Kinesis？

有人将Apache Camel集成到Amazon Kinesis流式处理服务中吗？ 这与使用Apache Camel与Amazon AWS有关，其中包括一个关于其他Amazon服务与Apache Camel集成的问题。 我希望Amazon Kinesis端点正在开发过程中或以某种早期采用形...

在生产者-消费者的 Web 应用程序中，为 Kinesis Stream 分片创建分区键应该遵循什么思路？假设我有一个具有 16 个分片的 Kinesis 流，那么我应该创建多少个分区键呢？这是否真的取决于分片数量？

我正在使用由futures-rs提供支持的Rusoto AWS Kinesis库。为了实现高吞吐量，我需要生成一系列AWS Kinesis请求以启动深层管道，因为Kinesis每个HTTP请求的记录限制为500条。加上发送请求的50ms延迟，我需要开始生成许多并发请求。我希望创建大约100个正...

我正在评估kinesis作为kafka的替代方案。我缺少的其中一件事是模式注册表等效解决方案。特别是我需要： 模式升级-验证与上一个版本的兼容性 类似于模式注册表，以相似的方式对版本进行avro模式管理 如何处理上述2个问题？我找到的唯一选择是glue目录，但它似乎不会 最后，我还想使...