我可以帮您翻译成中文：我能否在不删除流的情况下从Amazon Kinesis中删除数据记录或分片？
我知道Kinesis Stream中的数据记录将在24小时后自动删除。但是在我的应用程序中，每当我向流中写入一些数据时，第二次如果我想写入其他数据，则应该删除第一次插入的数据。请有经验的人帮助我，因为我是第一次使用AWS Kinesis Stream... 我没有从 Kinesis Servi...
Kinesis Firehose将JSON对象放入S3中，且没有分隔符逗号
在发送数据之前，我使用JSON.stringify将数据转换成以下格式{"data": [{"key1": value1, "key2": value2}, {"key1": value1, "key2": value2}]} 但是一旦它通过AWS API Gateway并且Kinesis F...
Kinesis数据流中的“shards”是什么？
什么是Kinesis数据流中的分片（shards）和分区键（partition key）？我阅读了AWS文档，但是还是不太理解。能否用简单易懂的语言解释一下？
Streams和Firehose的用例是什么？
我正在开发一款应用程序，该程序将读取和分析支付交易日志。根据我的要求，我知道我将使用 Kinesis Analytics，它从数据流和 Firehose 中获取输入。但是，我在决定我的系统应该使用哪种输入方法方面遇到了问题。我的要求如下： 它可以容忍延迟，但数据不应该丢失。 必须记录 Dyn...
当使用AWS Firehose时，如何合并s3文件？
我有一个AWS Kinesis Firehose流，使用以下配置将数据放入s3： S3 buffer size (MB)* 2 S3 buffer interval (sec)* 60 一切都正常工作。唯一的问题是Firehose为每个数据块创建一个s3文件。(在我的情况下...
亚马逊Kinesis + 集成测试
我目前正在开发一系列需要与 Kinesis 集成的 Web 服务。虽然集成实现已经完成，但我们有一系列集成测试（我们的 Web 服务都使用 Spring Boot，因此在测试类上使用 @WebIntegrationTest 注解启动服务器的本地实例，然后使用 TestRestTemplate...
AWS Kinesis ShardIteratorType TRIM_HORIZON 的预期行为
背景: 我并不是指基于KCL的应用程序，而是纯粹的Kinesis API调用。 使用TRIM_HORIZON分片迭代器类型是否会立即为您提供流中最早发布的记录（即在Kinesis内置的24小时窗口内最早可用的记录），还是仅为某个时间段（最多24小时）提供迭代器/光标，您必须使用它来沿着流前进...
Amazon Kinesis KPL与AWS SDK的优缺点比较
情境是我会向Kinesis流写入大量数据（每天几个TB），我想知道实现高写入吞吐量的更好方法。我考虑以下两种生产者客户端选项。 选项1：使用Kinesis生产者库（KPL）。 或 选项2：AWS SDK (API)。 我知道KPL是在AWS-SDK之上使用的抽象，因此基本上归结为（KP...
Spark Streaming 1.6.0中的Checkpointing/WAL存在可靠性问题
Description 我们有一个使用Scala编写的Spark Streaming 1.5.2应用程序，从Kinesis Stream中读取JSON事件，进行一些转换/聚合，并将结果写入不同的S3前缀。当前批处理间隔为60秒，每秒处理3000-7000个事件。我们使用检查点保护我们免受聚合...
如何在Web浏览器中使用AWS Kinesis？
我们如何在Web浏览器中使用AWS Kinesis? 我对AWS Kinesis Stream很感兴趣，并想知道是否可以将用户活动日志直接从他们的浏览器发送到AWS。 AWS提供了一个可在Web浏览器中执行的JavaScript SDK，但根据其文档，SDK需要凭证信息，因此，在我的用例中...