如何使Apache Spark在将数据保存到Amazon S3时使用多部分上传。Spark使用
RDD.saveAs...File
方法写入数据。当目标以s3n://
开头时,Spark会自动使用JetS3T进行上传,但对于大于5G的文件,这种方法会失败。需要使用多部分上传将大文件上传到S3,这对于较小的文件也有益处。JetS3T支持多部分上传,可以使用MultipartUtils
实现,但是Spark默认配置下不使用此功能。是否有一种方法可以让它使用此功能?