当使用AWS Firehose时，如何合并s3文件？
我有一个AWS Kinesis Firehose流，使用以下配置将数据放入s3： S3 buffer size (MB)* 2 S3 buffer interval (sec)* 60 一切都正常工作。唯一的问题是Firehose为每个数据块创建一个s3文件。(在我的情况下...
Kinesis的多个目的地
我们能否使用单个Kinesis Firehose实现多个目标？ 我看到了这张图片 从这个图片上可以看出，可以从单个Firehose添加s3、redshift和elastic search。我正好想这样做。 但是当我在aws控制台上这样做时，它只要求一个目标。对于elastic search...
无法将 JSON - DynamoDB Streams 复制到 Redshift
以下是我正在处理的用例： 在创建 DynamoDB 时，我配置了 启用 Streams 并选择了 新和旧 Image。我创建了一个以 Redshift (Intermediate s3) 为目标的 Kinesis Firehose delivery stream。 从 DynamoDB，我的...
按事件时间对Kinesis Firehose S3记录进行分区
Firehose->S3使用当前日期作为在S3中创建密钥的前缀。因此，这将按记录编写时间对数据进行分区。我的firehose流包含具有特定事件时间的事件。 是否有一种方法可以创建包含此事件时间的S3键? 下游处理工具依赖于每个事件在与其实际发生时间相关的“小时文件夹”中。或者那是否需要在 F...
有没有办法使用单个Firehose传递流将数据写入Redshift的多个表中？
我将一些JSON数据传递到Firehose传输流中，最终这些数据将保存到Redshift表中。根据我的使用情况，我希望数据存储在不同的表中。 我是否应该为不同的表创建不同的传输流？ 如果以这种方式创建它，S3中将出现数据重复，因为数据必须通过S3才能使用Firehose传送流将数据推送到Re...
如何实现对Amazon Redshift的实时数据加载？
我们正在评估亚马逊红移（Amazon Redshift）作为实时数据仓库。 数据将通过Java服务流式传输和处理，并应存储在数据库中。我们按行处理（实时），每次事务只插入一行。 对于实时数据加载到Amazon Redshift，最佳实践是什么？ 我们应该使用JDBC并执行INSERT I...
有没有一种方法可以指定文件扩展名，将文件保存到Kinesis Firehose的S3中？
我正在设置Kinesis Firehose流，文件以分隔符形式在S3上创建，一切正常。但是我想知道是否有一种方法可以指定此文件的扩展名，因为消费者需要它为CSV或TXT格式。有没有办法实现这个需求？ 谢谢。
AWS Elastic MapReduce和AWS Kinesis Data Analytics之间有什么区别？
我正在使用这些工具执行Flink作业。 我认为只要进行适当的配置，两者都可以完全达到相同的效果。Kinesis数据分析是否有EMR无法做到或反之亦然的功能？ Amazon Kinesis数据分析是分析流数据、获取可操作见解并实时响应业务和客户需求的最简单方法。 Amazon Elastic...
如何在AWS Kinesis Firehose到Redshift的记录上进行去重？
我阅读了官方AWS Kinesis Firehose文档，但它没有提到如何处理重复事件。有人有相关经验吗？我搜索到有人使用ElasticCache进行过滤，这是否意味着我需要使用AWS Lambda来封装此类过滤逻辑？是否有像Firehose这样简单的方式将数据注入Redshift，同时具有“...
在S3中以自定义目录名称存储Firehose传输的文件
我们主要通过 Kinesis Firehose 服务批量传输输入的点击流数据。我们的系统是一个多租户 SaaS 平台。输入的点击流数据通过 Firehose 存储到 S3 中。默认情况下，所有文件都存储在按给定日期格式命名的目录下。我想通过API在Firehose面板上指定数据文件的目录路径，...