有人知道在Google Colab上运行的存储限制吗?我上传了22GB的zip文件后似乎空间用完了,然后试图解压它,显示只剩下约40GB的存储空间可用。至少这是我在运行TPU实例时的经验。
有人知道在Google Colab上运行的存储限制吗?我上传了22GB的zip文件后似乎空间用完了,然后试图解压它,显示只剩下约40GB的存储空间可用。至少这是我在运行TPU实例时的经验。
目前,Colab 中本地存储的数量取决于所选择的硬件加速器运行时类型:
# Hardware accelerator none
!df -h .
Filesystem Size Used Avail Use% Mounted on
overlay 49G 22G 26G 46% /
# Hardware accelerator GPU
!df -h .
Filesystem Size Used Avail Use% Mounted on
overlay 359G 23G 318G 7% /
# Hardware accelerator TPU
!df -h .
Filesystem Size Used Avail Use% Mounted on
overlay 49G 22G 26G 46% /
即使您不需要 GPU,切换到该运行时类型也会为您提供额外的 310GB 存储空间。
是的,目前Colab笔记本的本地存储大约为40 GiB。 一种查看确切值的方法(在Python 3中):
是的,目前Colab笔记本的本地存储大约为40 GiB。一种查看确切值的方法(在Python 3中):
import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))
然而: 对于大量数据,本地存储不是将数据提供给TPU的最优方式,因为TPU并没有直接连接到运行笔记本电脑的机器。相反,考虑将大型数据集存储在GCP存储中,并从Colab笔记本电脑中获取该数据。(此外,Colab本地存储的数量可能会发生变化,并且Colab笔记本本身将在几个小时后过期,带走了本地存储。)
请查看规范的TPU Colab笔记本电脑。在底部有一些下一步操作,其中包括一个链接,指向使用TPU搜索莎士比亚。在那个笔记本电脑中,有以下代码片段,演示了如何对您的Colab TPU进行GCP身份验证,它看起来像这样:
from google.colab import auth
auth.authenticate_user()
if 'COLAB_TPU_ADDR' in os.environ:
TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])
# Upload credentials to TPU.
with tf.Session(TF_MASTER) as sess:
with open('/content/adc.json', 'r') as f:
auth_info = json.load(f)
tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
# Now credentials are set for all future sessions on this TPU.
else:
TF_MASTER=''
tf.session
。那么上面的代码在我的情况下也能工作吗? - NeStack
zipfile
直接从存档中加载数据。无论如何,解压缩例如COCO数据集都需要很长时间,即使您有足够的存储空间也是如此。 - Tomasz Gandor