我们主要通过 Kinesis Firehose 服务批量传输输入的点击流数据。我们的系统是一个多租户 SaaS 平台。输入的点击流数据通过 Firehose 存储到 S3 中。默认情况下,所有文件都存储在按给定日期格式命名的目录下。我想通过API在Firehose面板上指定数据文件的目录路径,...
我正在开发一款应用程序,该程序将读取和分析支付交易日志。根据我的要求,我知道我将使用 Kinesis Analytics,它从数据流和 Firehose 中获取输入。但是,我在决定我的系统应该使用哪种输入方法方面遇到了问题。我的要求如下: 它可以容忍延迟,但数据不应该丢失。 必须记录 Dyn...
如果在创建Kinesis数据流时,我指定要使用10个shard,并且每次将记录放入时都会为其分配一个随机的Partition key,如下所示: var putRecord = new PutRecord { Data = data ...
我正在将记录写入Kinesis Firehose流,最终由Amazon Kinesis Firehose写入S3文件。我的记录对象看起来像ItemPurchase { String personId, String itemId } 写入 S3 的数据如下:{"personId...
在生产者-消费者的 Web 应用程序中,为 Kinesis Stream 分片创建分区键应该遵循什么思路?假设我有一个具有 16 个分片的 Kinesis 流,那么我应该创建多少个分区键呢?这是否真的取决于分片数量?
我尝试从Kinesis Shard订阅事件。 但执行SubscribeToShardCommand会挂起5分钟(订阅超时),然后抛出错误: (node:2667) UnhandledPromiseRejectionWarning: SyntaxError: Unexpected token ...
我正在尝试使用亚马逊Kinesis作为平台中心事件日志来实现事件驱动架构。这个想法与Nordstrom's 的 Hello-Retail 项目类似,只是采用了成本更低的 Kinesis 替代了 Kafka。然而,我目前遇到了一些与事件持久性和回放相关的挑战,有两个问题: 你们是否在使用 Ki...
我目前正在开发一系列需要与 Kinesis 集成的 Web 服务。虽然集成实现已经完成,但我们有一系列集成测试(我们的 Web 服务都使用 Spring Boot,因此在测试类上使用 @WebIntegrationTest 注解启动服务器的本地实例,然后使用 TestRestTemplate...
我正在运行 Kinesis 加 Spark 应用程序 https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html 以下是在 EC2 实例上的运行命令: ./spark/bin/spark-submit --cla...
我对AWS文档中关于将记录放入Kinesis流的部分感到有些困惑,链接如下: https://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecord.html#API_PutRecord_RequestSyntax 它说设置...