10得票3回答
Kinesis和SQS有什么区别?

我知道网络上有很多关于这个问题的资料,但是没有一个能够对像我这样的新手讲解得非常清楚...如果有人能帮助我理解这两个服务之间的主要区别,并且提供真实生活中的例子,那就非常感激了。谢谢!

10得票1回答
如何构建和使用flink-connector-kinesis?

我正在尝试将Apache Flink与AWS Kinesis一起使用。 文档说我必须自己构建连接器。 因此,我构建了连接器,并为我的项目添加了jar文件,同时在pom.xml文件中添加了依赖项。<dependency> <groupId>org.apache....

9得票3回答
使用AWS Kinesis Firehose将数据写入S3桶的特定文件夹

我希望能够根据数据内容将数据发送到Kinesis Firehose。例如,如果我发送以下JSON数据: { "name": "John", "id": 345 } 我希望根据ID过滤数据并将其发送到S3桶的子文件夹,例如:S3://myS3Bucket/345_2018_03...

9得票1回答
订阅Shard命令出现异常

我尝试从Kinesis Shard订阅事件。 但执行SubscribeToShardCommand会挂起5分钟(订阅超时),然后抛出错误: (node:2667) UnhandledPromiseRejectionWarning: SyntaxError: Unexpected token ...

9得票1回答
Kinesis Streams 和 Kinesis Firehose 有什么区别?

Firehose是完全托管的,而Streams需要手动管理。 如果其他人知道其他重要的区别,请添加。 我只是在学习。谢谢。

9得票1回答
将Apache Camel集成到Amazon Kinesis流式处理服务

有人将Apache Camel集成到Amazon Kinesis流式处理服务中吗? 这与使用Apache Camel与Amazon AWS有关,其中包括一个关于其他Amazon服务与Apache Camel集成的问题。 我希望Amazon Kinesis端点正在开发过程中或以某种早期采用形...

9得票3回答
如何将Kinesis流存储到S3存储中的特定文件夹结构中?

我已经通过Kinesis流捕获了事件。我想将所有事件放在S3上的特定文件夹结构中。我想创建一个带有日期时间戳的文件夹,例如6月15日的所有事件都应该放在那个文件夹中,从6月16日开始,新文件夹应该来获取事件,以此类推。 作为一个新手,我只是按照文档进行操作,发现有连接器框架,其中使用S3Em...

9得票1回答
Kinesis如何实现Kafka风格的消费者组?

在Kafka中,我可以将我的主题分成许多分区。在Kafka中,我不能拥有比分区更多的消费者,因为分区是扩展主题的一种方式。如果我有更多的负载,我可以增加分区的数量,这将允许我增加消费者的数量,从而允许我在给定的主题上有更多的线程/进程进行处理。 在Kafka中,有一个消费者组的概念。如果我们...

9得票3回答
AWS Firehose 换行符

我看到许多关于如何在firehose中添加换行符的问题,但他们都是关于如何在源文件中添加换行符的。问题是我没有源文件的访问权限,第三方正在将数据传输到我们的Kinesis实例,我不能在源文件中添加\n。 我尝试使用以下代码进行Firehose数据转换: 'use strict'; cons...

9得票1回答
Kinesis分片与分区键

如果在创建Kinesis数据流时,我指定要使用10个shard,并且每次将记录放入时都会为其分配一个随机的Partition key,如下所示: var putRecord = new PutRecord { Data = data ...