228得票13回答
为什么我应该使用Amazon Kinesis而不是SNS-SQS?

我有一个使用情况,其中会有一系列的数据流进来,而我无法以相同的速度消耗它们,因此需要一个缓冲区。这可以使用SNS-SQS队列来解决。我了解到Kinesis也可以解决同样的问题,那么它们之间有什么区别?为什么应该选择(或不选择)Kinesis?

59得票3回答
什么是AWS Kinesis中的分区键?

我正在了解关于AWS Kinesis的内容。在下面的程序中,我将数据写入名为TestStream的流中。我运行了这段代码10次,向流中插入了10条记录。 var params = { Data: 'More Sample data into the test stream ...',...

51得票13回答
应用程序报告对于Spark Submit(使用Spark 1.2.0 on YARN)的应用程序(状态:已接受)永远不会结束。

我正在运行 Kinesis 加 Spark 应用程序 https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html 以下是在 EC2 实例上的运行命令: ./spark/bin/spark-submit --cla...

51得票4回答
TRIM_HORIZON和LATEST的区别

在正式的AWS Kinesis文档中,我找不到TRIM_HORIZON和检查点之间的任何明确参考,也没有LATEST和检查点之间的任何参考。请问您是否可以确认我的理论: TRIM_HORIZON - 如果应用程序名称是新的,则会读取流中所有可用的记录。否则,如果应用程序名称已经被使用,则会...

44得票3回答
Kinesis Stream和DynamoDB Streams之间的区别是什么?

他们似乎对我做着同样的事情。有人能解释一下它们之间的区别吗?

34得票3回答
亚马逊Kinesis和AWS Lambda重试

我对Amazon Kinesis非常陌生,因此可能是我的理解有误,但在AWS Lambda FAQ中提到: 发送到 AWS Lambda 函数的 Amazon Kinesis 和 DynamoDB Streams 记录是严格序列化的,每个分片都是如此。这意味着,如果将两个记录放入同一分...

33得票13回答
通过Amazon Kinesis Firehose流写入S3的数据如何读取?

我正在将记录写入Kinesis Firehose流,最终由Amazon Kinesis Firehose写入S3文件。我的记录对象看起来像ItemPurchase { String personId, String itemId } 写入 S3 的数据如下:{"personId...

32得票6回答
亚马逊Kinesis和保证顺序

亚马逊声称他们的Kinesis流式产品保证了记录的排序。 它提供记录排序功能,以及读取和/或重播记录的能力,按照相同的顺序(...) Kinesis由流(Streams)组成,它们本身又由一个或多个Shard组成。记录存储在这些Shard中。我们可以编写消费者应用程序连接到一个Sh...

30得票3回答
每个Kinesis Shard支持多个消费者

我了解到您可以在一个Kinesis stream中有多个消费者应用程序。 http://docs.aws.amazon.com/kinesis/latest/dev/developing-consumers-with-kcl.html 但是,我听说每个 shard 只能有一个消费者。这是真...

28得票4回答
AWS Lambda无法连接到RDS实例,但我在本地可以连接?

我正在尝试从Lambda连接到我的RDS实例。我本地编写并进行了本地测试,一切都正常。但是当我部署到Lambda上时,它突然间失效了。下面是我运行的代码,如果有帮助的话,我是通过Kinesis流来调用Lambda的。'use strict'; exports.handler = (event...