我需要下载一千个csv文件,大小在20KB到350KB之间。目前我的代码如下:
我使用urllib.request.urlretrieve
下载。所有这些文件的大小加起来是250MB,下载了一个多小时。
所以我的问题是:
如何在一个小时内更快地下载一千个csv文件?
谢谢!
我需要下载一千个csv文件,大小在20KB到350KB之间。目前我的代码如下:
我使用urllib.request.urlretrieve
下载。所有这些文件的大小加起来是250MB,下载了一个多小时。
所以我的问题是:
如何在一个小时内更快地下载一千个csv文件?
谢谢!
如果你没有更快的互联网连接,要想达到那样的速度可能是不太可能的。除非你能够获得更快的网络连接,或者让提供者提供zip或tar.gz格式的文件。
另一种可能性是使用云服务,例如Amazon将文件传输到云端位置,然后在云端压缩文件并下载到本地机器。由于云服务位于互联网骨干网上,因此它的服务速度应该比你的快。但缺点是你可能需要根据所使用的服务付费。