12得票2回答
Kinesis的多个目的地

我们能否使用单个Kinesis Firehose实现多个目标? 我看到了这张图片 从这个图片上可以看出,可以从单个Firehose添加s3、redshift和elastic search。我正好想这样做。 但是当我在aws控制台上这样做时,它只要求一个目标。对于elastic search...

9得票3回答
使用AWS Kinesis Firehose将数据写入S3桶的特定文件夹

我希望能够根据数据内容将数据发送到Kinesis Firehose。例如,如果我发送以下JSON数据: { "name": "John", "id": 345 } 我希望根据ID过滤数据并将其发送到S3桶的子文件夹,例如:S3://myS3Bucket/345_2018_03...

13得票2回答
如何确定AWS Kinesis流中分区键的总数?

在生产者-消费者的 Web 应用程序中,为 Kinesis Stream 分片创建分区键应该遵循什么思路?假设我有一个具有 16 个分片的 Kinesis 流,那么我应该创建多少个分区键呢?这是否真的取决于分片数量?

10得票2回答
有没有一种方法可以指定文件扩展名,将文件保存到Kinesis Firehose的S3中?

我正在设置Kinesis Firehose流,文件以分隔符形式在S3上创建,一切正常。但是我想知道是否有一种方法可以指定此文件的扩展名,因为消费者需要它为CSV或TXT格式。有没有办法实现这个需求? 谢谢。

12得票2回答
Explain Kinesis Shard Iterator - AWS Java SDK

好的,我会以一个详细的用例开始,并解释我的问题: 我使用第三方Web分析平台,该平台利用AWS Kinesis流将数据从客户端传递到最终目的地 - Kinesis流; Web分析平台使用2个流: 数据收集器流(单切片流); 第二个流用于从收集器流中丰富原始数据(单切片流);最重要的是,此...

15得票6回答
Streams和Firehose的用例是什么?

我正在开发一款应用程序,该程序将读取和分析支付交易日志。根据我的要求,我知道我将使用 Kinesis Analytics,它从数据流和 Firehose 中获取输入。但是,我在决定我的系统应该使用哪种输入方法方面遇到了问题。我的要求如下: 它可以容忍延迟,但数据不应该丢失。 必须记录 Dyn...

8得票5回答
Kinesis流/分片 - 多个消费者

我已经阅读了一些关于Kinesis shard和多个消费者的问题,但是我仍然不理解它是如何工作的。 我的用例:我有一个只有一个shard的Kinesis流。我想使用不同的Lambda函数来消费这个shard,每个函数都是独立的。就像每个Lambda函数都有自己的shard迭代器一样。 这是...

13得票1回答
如何在Web浏览器中使用AWS Kinesis?

我们如何在Web浏览器中使用AWS Kinesis? 我对AWS Kinesis Stream很感兴趣,并想知道是否可以将用户活动日志直接从他们的浏览器发送到AWS。 AWS提供了一个可在Web浏览器中执行的JavaScript SDK,但根据其文档,SDK需要凭证信息,因此,在我的用例中...

9得票1回答
订阅Shard命令出现异常

我尝试从Kinesis Shard订阅事件。 但执行SubscribeToShardCommand会挂起5分钟(订阅超时),然后抛出错误: (node:2667) UnhandledPromiseRejectionWarning: SyntaxError: Unexpected token ...

15得票4回答
当使用AWS Firehose时,如何合并s3文件?

我有一个AWS Kinesis Firehose流,使用以下配置将数据放入s3: S3 buffer size (MB)* 2 S3 buffer interval (sec)* 60 一切都正常工作。唯一的问题是Firehose为每个数据块创建一个s3文件。(在我的情况下...