Kinesis Firehose可以进行过滤吗?

5

我们的Kinesis流中有100种不同类型的信息。我们只想保存其中的4种类型。我知道Kinesis可以转换消息,但它也能过滤吗?这该怎么做呢?


几个澄清问题:
  1. 数据的来源是什么?
  2. 这是Kinesis Firehose还是Kinesis Data Stream?
  3. 你不能在源头过滤的原因是什么?
- Randall Hunt
1
  1. 数据源是Kinesis数据流。
  2. 我正在使用的是Firehose。
  3. 不,我们想要挑选特定类型的消息给客户。这可能会有很多。
- markthegrea
1个回答

7

过滤就是一种转换,在这种转换中你决定不输出任何内容。根据文档,你可以通过将结果值设为 "Dropped" 来表示这一点。

你可以在这篇文章中找到一个转换的示例,其中逻辑包括以下几个方面:让记录直接通过而不进行任何转换(状态为 "OK"),对记录进行转换并输出它(同样是状态为 "OK"),丢弃 - 或过滤 - 一条记录(状态为 "Dropped"),以及使用状态 "ProcessingFailed" 来传达错误信息。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接