Google Colab 存储

Question

有人知道在Google Colab上运行的存储限制吗？我上传了22GB的zip文件后似乎空间用完了，然后试图解压它，显示只剩下约40GB的存储空间可用。至少这是我在运行TPU实例时的经验。

- Ferhat

---

如何增加Google Colab的存储空间？ - yusuf hayırsever

“只使用GPU运行时”不再起作用（或可能不需要），但我会考虑编写一些自定义数据加载器，使用zipfile直接从存档中加载数据。无论如何，解压缩例如COCO数据集都需要很长时间，即使您有足够的存储空间也是如此。 - Tomasz Gandor

Answer 1

目前，Colab 中本地存储的数量取决于所选择的硬件加速器运行时类型：

# Hardware accelerator none
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

# Hardware accelerator GPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay         359G   23G  318G   7% /

# Hardware accelerator TPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

即使您不需要 GPU，切换到该运行时类型也会为您提供额外的 310GB 存储空间。

- marsipan

---

谢谢您的更新。是的，只为额外的存储使用GPU是有道理的。 - Ferhat

"资源不保证。"今天，即2020年9月20日，我尝试了GPU实例，得到了约70GB的叠加空间，而硬件加速器没有得到110GB的空间。所有这些都是要说的，因此它的效果因人而异！ - nelsonjchen

今天，我得到了108GB、69GB和108GB。 - idontknow

Answer 2

是的，目前Colab笔记本的本地存储大约为40 GiB。 一种查看确切值的方法（在Python 3中）：

是的，目前Colab笔记本的本地存储大约为40 GiB。一种查看确切值的方法（在Python 3中）：

import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))

然而: 对于大量数据，本地存储不是将数据提供给TPU的最优方式，因为TPU并没有直接连接到运行笔记本电脑的机器。相反，考虑将大型数据集存储在GCP存储中，并从Colab笔记本电脑中获取该数据。（此外，Colab本地存储的数量可能会发生变化，并且Colab笔记本本身将在几个小时后过期，带走了本地存储。）

请查看规范的TPU Colab笔记本电脑。在底部有一些下一步操作，其中包括一个链接，指向使用TPU搜索莎士比亚。在那个笔记本电脑中，有以下代码片段，演示了如何对您的Colab TPU进行GCP身份验证，它看起来像这样：

from google.colab import auth
auth.authenticate_user()

if 'COLAB_TPU_ADDR' in os.environ:
  TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])

  # Upload credentials to TPU.
  with tf.Session(TF_MASTER) as sess:    
    with open('/content/adc.json', 'r') as f:
      auth_info = json.load(f)
    tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.
else:
  TF_MASTER=''

- Derek T. Jones

---

@DerekT.Jones 我和Keras一起工作，而不是纯TensorFlow。这意味着我不需要声明 tf.session。那么上面的代码在我的情况下也能工作吗？ - NeStack