AWS CloudWatch日志未被创建

Question

我尝试使用AWS Glue运行ETL作业，从Redshift中提取数据到S3。

当我运行crawler时，它成功连接到Redshift并获取模式信息。相关日志在日志组aws-glue/crawlers下创建。

当我运行ETL作业时，它应该在日志组aws-glue/jobs/output和aws-glue/jobs/error下创建一个日志流，但它未能创建这样的日志流，最终作业也失败了。

(我正在为Glue服务使用AWS管理的AWSGlueServiceRole策略)

由于它没有产生任何日志，很难确定ETL作业失败的原因。如果您可以帮助我解决此问题，我将不胜感激。

- user_default

Answer 1

大多数情况下，这与您的AWS服务没有正确的权限有关（是的，即使只是写日志也是如此！）。将类似以下内容添加到Glue角色中可能会起作用：

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents" ], "Resource": "arn:aws:logs:::*" } ] }

- Hieron

---

我已经添加了类似的策略。当从S3运行ETL作业到S3时，成功创建日志。问题在于当从Aurora（在VPC中）运行ETL作业到S3时，日志未创建。 - user_default

是关于与Cloudwatch相关联的Glue服务政策的问题。该策略要求 "cloudwatch:PutMetricData" ----> { "Effect": "Allow", "Action": [ "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents", "logs:AssociateKmsKey" ], "Resource": [ "arn:aws:logs:::/aws-glue/*" ] }， - Carlos Gomez

Answer 2

我会通过以下说明确保您的终端和VPC设置正确：

http://docs.aws.amazon.com/glue/latest/dg/setup-vpc-for-glue-access.html

我已经正确设置了我的入站规则，但是没有设置出站规则，这可能是问题所在。

- Benjamin Rothschild