我想在我的EMR Hadoop作业中从S3读取文件。我正在使用自定义JAR选项。
我尝试过两种解决方案:
1. org.apache.hadoop.fs.S3FileSystem:抛出NullPointerException。 2. com.amazonaws.services.s3.AmazonS3Client:抛出异常,显示“拒绝访问”。
我无法理解的是,我是从控制台启动作业,所以显然我应该具备必要的权限。然而,对于Mapper可用的环境变量(System.getenv()),AWS_*_KEY键值缺失。
我确定我做错了什么,只是不确定是什么。
我尝试过两种解决方案:
1. org.apache.hadoop.fs.S3FileSystem:抛出NullPointerException。 2. com.amazonaws.services.s3.AmazonS3Client:抛出异常,显示“拒绝访问”。
我无法理解的是,我是从控制台启动作业,所以显然我应该具备必要的权限。然而,对于Mapper可用的环境变量(System.getenv()),AWS_*_KEY键值缺失。
我确定我做错了什么,只是不确定是什么。