在S3中以自定义目录名称存储Firehose传输的文件
我们主要通过 Kinesis Firehose 服务批量传输输入的点击流数据。我们的系统是一个多租户 SaaS 平台。输入的点击流数据通过 Firehose 存储到 S3 中。默认情况下，所有文件都存储在按给定日期格式命名的目录下。我想通过API在Firehose面板上指定数据文件的目录路径，...
Streams和Firehose的用例是什么？
我正在开发一款应用程序，该程序将读取和分析支付交易日志。根据我的要求，我知道我将使用 Kinesis Analytics，它从数据流和 Firehose 中获取输入。但是，我在决定我的系统应该使用哪种输入方法方面遇到了问题。我的要求如下： 它可以容忍延迟，但数据不应该丢失。 必须记录 Dyn...
Kinesis分片与分区键
如果在创建Kinesis数据流时，我指定要使用10个shard，并且每次将记录放入时都会为其分配一个随机的Partition key，如下所示： var putRecord = new PutRecord { Data = data ...
通过Amazon Kinesis Firehose流写入S3的数据如何读取？
我正在将记录写入Kinesis Firehose流，最终由Amazon Kinesis Firehose写入S3文件。我的记录对象看起来像ItemPurchase { String personId, String itemId } 写入 S3 的数据如下：{"personId...
如何确定AWS Kinesis流中分区键的总数？
在生产者-消费者的 Web 应用程序中，为 Kinesis Stream 分片创建分区键应该遵循什么思路？假设我有一个具有 16 个分片的 Kinesis 流，那么我应该创建多少个分区键呢？这是否真的取决于分片数量？
订阅Shard命令出现异常
我尝试从Kinesis Shard订阅事件。 但执行SubscribeToShardCommand会挂起5分钟(订阅超时)，然后抛出错误： (node:2667) UnhandledPromiseRejectionWarning: SyntaxError: Unexpected token ...
使用Kinesis进行事件溯源 - 重放与持久化
我正在尝试使用亚马逊Kinesis作为平台中心事件日志来实现事件驱动架构。这个想法与Nordstrom's 的 Hello-Retail 项目类似，只是采用了成本更低的 Kinesis 替代了 Kafka。然而，我目前遇到了一些与事件持久性和回放相关的挑战，有两个问题： 你们是否在使用 Ki...
亚马逊Kinesis + 集成测试
我目前正在开发一系列需要与 Kinesis 集成的 Web 服务。虽然集成实现已经完成，但我们有一系列集成测试（我们的 Web 服务都使用 Spring Boot，因此在测试类上使用 @WebIntegrationTest 注解启动服务器的本地实例，然后使用 TestRestTemplate...
应用程序报告对于Spark Submit（使用Spark 1.2.0 on YARN）的应用程序（状态：已接受）永远不会结束。
我正在运行 Kinesis 加 Spark 应用程序 https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html 以下是在 EC2 实例上的运行命令： ./spark/bin/spark-submit --cla...
使用Java SDK将记录放入Kinesis流时，sequenceNumberForOrdering的作用是什么？
我对AWS文档中关于将记录放入Kinesis流的部分感到有些困惑，链接如下: https://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecord.html#API_PutRecord_RequestSyntax 它说设置...