使用Boto3的回调函数，显示上传进度

Question

我在一个Django/Python应用程序中使用Boto3的文档存储功能，需要向用户提供有关上传进度的信息。

我看到的使用纯JS的方法并不是所有浏览器都可以“通用”的，我的需求是能够使用Boto3上传文件，并在Django模板中显示上传进度条。

查看此处的文档：https://boto3.amazonaws.com/v1/documentation/api/latest/_modules/boto3/s3/transfer.html 我不明白如何通过在模板中调用ProgressPercentage()来显示上传的实际进度。

我该如何使用Boto3在模板中显示用户的实际进度？

class ProgressPercentage(object):
        def __init__(self, filename):
            self._filename = filename
            self._size = float(os.path.getsize(filename))
            self._seen_so_far = 0
            self._lock = threading.Lock()

        def __call__(self, bytes_amount):
            # To simplify we'll assume this is hooked up
            # to a single filename.
            with self._lock:
                self._seen_so_far += bytes_amount
                percentage = (self._seen_so_far / self._size) * 100
                sys.stdout.write(
                    "\r%s  %s / %s  (%.2f%%)" % (
                        self._filename, self._seen_so_far, self._size,
                        percentage))
                sys.stdout.flush()


transfer = S3Transfer(boto3.client('s3', 'us-west-2'))
# Upload /tmp/myfile to s3://bucket/key and print upload progress.
transfer.upload_file('/tmp/myfile', 'bucket', 'key',
                         callback=ProgressPercentage('/tmp/myfile'))

- ViaTech

Answer 1

在SO上有三个相关的答案：

1. 获取aws boto3上传进度回调 （虽然我无法使其工作，但看起来很优雅）

2. 使用boto3和回调跟踪S3文件下载进度 （这个是针对下载的，但帮助我理解了回调应该是什么样子的）

3. S3 Python带进度条下载 （可行，我用这个来编写我的代码）。

以下是我成功的做法：

import boto3
from botocore.exceptions import NoCredentialsError, ClientError
import os
import progressbar

ACCESS_KEY = 'MY_ACCESS_KEY'
SECRET_KEY = 'MY_SECRET_KEY_THAT_I_KNOW_SHOULD_NOT_BE_HERE_BUT_I_HAVENT_IMPLEMENTED_THE_PROPER_WAY_YET_ALSO_I_DO_NOT_KNOW_WHY_I_AM_YELLING_SORRY'

def upload_to_aws(local_file, s3_bucket, s3_folder, s3_filename,force_overwrite='n'):
    s3 = boto3.client('s3', aws_access_key_id=ACCESS_KEY,
                    aws_secret_access_key=SECRET_KEY)


    def write_to_aws():

        statinfo = os.stat(local_file)
        up_progress = progressbar.progressbar.ProgressBar(maxval=statinfo.st_size)
        up_progress.start()

        def upload_progress(chunk):
            up_progress.update(up_progress.currval + chunk)


        try:
            print("Writting")
            s3.upload_file(local_file, s3_bucket, s3_folder+s3_filename, Callback=upload_progress)
            print("Upload Successful")
            return True
        except FileNotFoundError:
            print("The source file was not found")
            return False
        except NoCredentialsError:
            print("Credentials not available")
            return False
    try:
        s3.head_object(Bucket=s3_bucket, Key=s3_folder+s3_filename)
        if force_overwrite=='y':
            write_to_aws
        else:
            ask_overwrite = input('File already exists at destination. Overwrite?')
            if ask_overwrite == 'y':
                write_to_aws()
            else:
                print('leaving application')
    except ClientError as e:
        write_to_aws()

我知道你可能已经想到了，但如果其他人在寻找解决方案时发现了这个问题，我希望这可以帮到他们。

- Rafael Ruivo