13得票2回答
如何确定AWS Kinesis流中分区键的总数?

在生产者-消费者的 Web 应用程序中,为 Kinesis Stream 分片创建分区键应该遵循什么思路?假设我有一个具有 16 个分片的 Kinesis 流,那么我应该创建多少个分区键呢?这是否真的取决于分片数量?

13得票2回答
将RDS Postgres数据流式传输/逻辑复制到Kinesis的最佳方法

我们的主要数据存储是RDS Postgres数据库。如果我们能流式传输Postgres中发生的所有更改到某个汇点(无论是kinesis、elasticsearch还是任何其他数据存储),那就太好了。 我们使用Postgres 9.5,它支持“逻辑复制”。然而,所有针对此流的扩展都被RDS阻塞...

12得票2回答
Boto3 Kinesis视频GetMedia和OpenCV

我正在尝试使用Boto3从Kinesis获取视频流,然后使用OpenCV同时显示视频并将其保存到文件中。 获取签名URL和Getmedia请求的过程似乎完美无缺,但是当我尝试使用OpenCV渲染它时,它似乎不起作用。 数据肯定会传输到流中。import boto3 import numpy...

12得票3回答
将数据从MySQL二进制日志流式传输到Kinesis

我们有一个写入密集型的表格(在AWS RDS MySQL上),来自遗留系统,我们希望将该表中的每个写入事件(插入或更新)流式传输到Kinesis。想法是创建一个管道来预热缓存并更新搜索引擎。 目前,我们使用一种基本的轮询架构来做到这一点,基本上使用SQL,但理想情况下应该具有推送架构,直接从...

12得票4回答
使用AWS Java DynamoDB流Kinesis适配器处理DynamoDB流数据

我正在尝试使用DynamoDB流和AWS提供的Java DynamoDB流Kinesis适配器捕获DynamoDB表更改。我正在使用Scala应用程序中的AWS Java SDK。 我开始按照AWS指南 和通过AWS发布的代码示例进行操作。但是,我在我的环境中无法让Amazon自己发布的代码...

12得票2回答
Explain Kinesis Shard Iterator - AWS Java SDK

好的,我会以一个详细的用例开始,并解释我的问题: 我使用第三方Web分析平台,该平台利用AWS Kinesis流将数据从客户端传递到最终目的地 - Kinesis流; Web分析平台使用2个流: 数据收集器流(单切片流); 第二个流用于从收集器流中丰富原始数据(单切片流);最重要的是,此...

12得票1回答
亚马逊Kinesis与AWS管理服务Kafka(MSK)-(从本地连接)的比较

我正在评估 AWS Kinesis 和托管服务 Kafka (MSK)。我们的需求是将一些消息(JSON)从本地系统(使用C++开发的系统)发送到 AWS,然后需要将上述消息持久化到关系型数据库中,例如 PostgreSQL,并同时将上述数据流式传输到托管在 AWS 中的其他微服务(Java)...

12得票2回答
Kinesis的多个目的地

我们能否使用单个Kinesis Firehose实现多个目标? 我看到了这张图片 从这个图片上可以看出,可以从单个Firehose添加s3、redshift和elastic search。我正好想这样做。 但是当我在aws控制台上这样做时,它只要求一个目标。对于elastic search...

11得票3回答
亚马逊Kinesis:在同步Kinesis分片和租赁时捕获异常

我正在尝试在AWS上使Snowplow工作。当我试图在实例上运行stream-enrich服务时,我遇到了这个异常: [main] INFO com.amazonaws.services.kinesis.clientlibrary.lib.worker.Worker - Syncing Ki...

11得票6回答
按事件时间对Kinesis Firehose S3记录进行分区

Firehose->S3使用当前日期作为在S3中创建密钥的前缀。因此,这将按记录编写时间对数据进行分区。我的firehose流包含具有特定事件时间的事件。 是否有一种方法可以创建包含此事件时间的S3键? 下游处理工具依赖于每个事件在与其实际发生时间相关的“小时文件夹”中。或者那是否需要在 F...