9得票3回答
使用AWS Kinesis Firehose将数据写入S3桶的特定文件夹

我希望能够根据数据内容将数据发送到Kinesis Firehose。例如,如果我发送以下JSON数据: { "name": "John", "id": 345 } 我希望根据ID过滤数据并将其发送到S3桶的子文件夹,例如:S3://myS3Bucket/345_2018_03...

9得票1回答
Kinesis Streams 和 Kinesis Firehose 有什么区别?

Firehose是完全托管的,而Streams需要手动管理。 如果其他人知道其他重要的区别,请添加。 我只是在学习。谢谢。

9得票1回答
私有链接(PrivateLink)是否允许Firehose访问我的私有Redshift集群?

我正试图设置Firehose,将来自Kinesis Stream的数据发送到Redshift集群。Firehose成功将数据插入我的S3存储桶,但当Firehose尝试执行S3->Redshift复制命令时,出现以下错误: 连接到指定的Amazon Redshift集群失败。确保安全...

9得票1回答
为Kinesis Firehose启用CloudWatch日志记录的云形成

我正在尝试捕获Cloudwatch日志以便寻找数据传输到S3目的地时出现的任何错误。我创建了一个包含日志详细信息的cloudformation模板。 "CloudWatchLoggingOptions" : { "Enabled" : "true", "LogGroupNam...

9得票3回答
AWS Firehose 换行符

我看到许多关于如何在firehose中添加换行符的问题,但他们都是关于如何在源文件中添加换行符的。问题是我没有源文件的访问权限,第三方正在将数据传输到我们的Kinesis实例,我不能在源文件中添加\n。 我尝试使用以下代码进行Firehose数据转换: 'use strict'; cons...

9得票5回答
AWS CLI V2中的"AWS firehose put-record"报错:Invalid base64。

我曾经能够像这样无问题地将记录发送到Firehose aws firehose put-record --delivery-stream-name my-stream --record='Data="{\"foor\":\"bar\"}"' 但是自从我将cli更新到版本2后,我遇到了这个...

8得票4回答
Kinesis Firehose 中的 Lambda.InvokeAccessDenied

我正在尝试使用Firehose交付流设置Lambda转换。我已为Firehose定义了一个IAM角色,其中包括以下策略文档: { "Statement": { "Action": [ "lambda:InvokeFunction", ...

8得票1回答
在使用AWS Kinesis流、Lambda和Firehose时,有人遇到过数据丢失的情况吗?

我目前正在向AWS Kinesis流发送一系列XML消息,我在不同的项目中使用过这个功能,所以我非常自信这部分工作是可行的。然后我编写了一个Lambda函数来处理从Kinesis流到Kinesis Firehose的事件: import os import boto3 import base...

8得票4回答
AWS Kinesis Firehose和Streams在处理时间上有区别吗?

阅读两种服务(Firehose 和 Streams)的文档后,听起来 Firehose 是“接近”实时的,可能在产生消息到发射之间有 60 秒的延迟,而 Streams 的文档没有提到这个潜在的延迟。请问有没有任何现实世界的见解,关于消息传递时间方面的差异? 【注】链接到 Firehose ...

8得票2回答
AWS Athena如何处理单行JSON?

我目前正在使用 Athena 与 Kinesis Firehose、Glue Crawler。 Kinesis Firehose 将 JSON 存储为单行文件,如下所示: {"name": "Jone Doe"}{"name": "Jane Doe"}{"name": "Jack Doe"}...