Amazon Kinesis Firehose 作为云监控日志的消费者

4
我的要求是从AWS收集VPC流日志。我已经创建了一个VPC流日志,并将其关联到云观察日志组“Flow log group”。 从CloudWatch日志订阅中,我想通过AWS Kinesis Firehose进行订阅,但在订阅列表中,我找不到“Kinesis Firehose”,只有“Lambda”和“ElasticSearch Service”。请帮助我解决这个问题。 我们不能使用AWS Kinesis Firehose订阅CloudWatch日志。

我认为您需要在之前创建流,才能将CloudWatch数据与其关联。 - John
嗨,约翰,感谢您的快速回复。我已经尝试通过先创建Kinesis流,然后创建VPC流日志来实现它。之后,我尝试通过Kinesis Firehose订阅AWS CloudWatch日志组,但在AWS CloudWatch控制台中,我无法通过Kinesis Firehose订阅日志。 - Raju
你对这个有什么进展吗?我也陷入同样的困境。 - justin.m.chase
1个回答

8
Firehose arn 是 CloudWatch Logs 的有效订阅目的地,但无法通过控制台设置,只能通过 API 或 CloudFormation 设置。
大多数我找到的示例使用控制台的 LogGroup 选项“流式传输到 AWS Lambda”将数据提供给 AWS Lambda,然后转发到 Amazon Kinesis Firehose,例如在如何通过向 VPC 流日志添加安全组 ID 来可视化和优化网络安全中所述。

Amazon CloudWatch日志用户指南中的使用CloudWatch日志订阅过滤器章节提供了一个Firehose示例(示例3),可能更适合您的用例。

基本上,路径是Amazon CloudWatch LogGroup SubscriptionFilter -> Amazon Kinesis Firehose Delivery Stream -> Amazon S3 Bucket and Prefix

有趣的事实:当交付到Firehose时,Amazon CloudWatch Logs数据已经被GZIP压缩。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接