我写了一个Python脚本处理非常大的文件(总共几TB),我将在EC2实例上运行该脚本。之后,我想将处理后的文件存储在S3桶中。目前,我的脚本先将数据保存到磁盘,然后再上传到S3。不幸的是,由于需要等待实例先写入磁盘再上传,这将非常昂贵。
是否有任何方法可以使用boto3将文件直接写入S3桶?
编辑:为了澄清我的问题,我想知道如果我有一个内存对象,是否可以直接将该对象写入S3,而无需先将该对象保存到磁盘上。
是否有任何方法可以使用boto3将文件直接写入S3桶?
编辑:为了澄清我的问题,我想知道如果我有一个内存对象,是否可以直接将该对象写入S3,而无需先将该对象保存到磁盘上。