我有两个Spark流,第一个流中包含与产品相关的数据:供应商价格、货币、描述和供应商ID。这些数据通过分析描述和美元价格猜测类别进行增强。然后将它们保存在一个parquet数据集中。 第二个流包含有关这些产品拍卖的数据,然后是它们被售出的成本和日期。 考虑到一个产品可能今天出现在第一个流中...
阅读两种服务(Firehose 和 Streams)的文档后,听起来 Firehose 是“接近”实时的,可能在产生消息到发射之间有 60 秒的延迟,而 Streams 的文档没有提到这个潜在的延迟。请问有没有任何现实世界的见解,关于消息传递时间方面的差异? 【注】链接到 Firehose ...
Firehose是完全托管的,而Streams需要手动管理。 如果其他人知道其他重要的区别,请添加。 我只是在学习。谢谢。
当Lambda被订阅到Kinesis创建事件时,有人能解释一下事件会发生什么。在AWS帐户中,存在100个并发请求的限制,所以如果向kinesis添加了1,000,000项,事件如何处理?它们是否排队等待下一个可用的Lambda并发请求?
我知道Kinesis Stream中的数据记录将在24小时后自动删除。但是在我的应用程序中,每当我向流中写入一些数据时,第二次如果我想写入其他数据,则应该删除第一次插入的数据。请有经验的人帮助我,因为我是第一次使用AWS Kinesis Stream... 我没有从 Kinesis Servi...
我有一个使用情况,其中会有一系列的数据流进来,而我无法以相同的速度消耗它们,因此需要一个缓冲区。这可以使用SNS-SQS队列来解决。我了解到Kinesis也可以解决同样的问题,那么它们之间有什么区别?为什么应该选择(或不选择)Kinesis?
有人将Apache Camel集成到Amazon Kinesis流式处理服务中吗? 这与使用Apache Camel与Amazon AWS有关,其中包括一个关于其他Amazon服务与Apache Camel集成的问题。 我希望Amazon Kinesis端点正在开发过程中或以某种早期采用形...
在生产者-消费者的 Web 应用程序中,为 Kinesis Stream 分片创建分区键应该遵循什么思路?假设我有一个具有 16 个分片的 Kinesis 流,那么我应该创建多少个分区键呢?这是否真的取决于分片数量?
我正在使用由futures-rs提供支持的Rusoto AWS Kinesis库。为了实现高吞吐量,我需要生成一系列AWS Kinesis请求以启动深层管道,因为Kinesis每个HTTP请求的记录限制为500条。加上发送请求的50ms延迟,我需要开始生成许多并发请求。我希望创建大约100个正...
我正在评估kinesis作为kafka的替代方案。我缺少的其中一件事是模式注册表等效解决方案。特别是我需要: 模式升级-验证与上一个版本的兼容性 类似于模式注册表,以相似的方式对版本进行avro模式管理 如何处理上述2个问题?我找到的唯一选择是glue目录,但它似乎不会 最后,我还想使...