本地GPU和Colab GPU的分布式训练

Question

3

我想微调ALBERT。

我注意到可以使用tensorflow在多个GPU上进行神经网络训练：https://www.tensorflow.org/guide/distributed_training

我想知道是否可以将微调任务分配到我的笔记本电脑GPU和Colab GPU上同时运行？

- Gog

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- pedram bashiri · Accepted Answer

我认为这是不可能的。因为要进行GPU分布式训练，你需要在GPU之间拥有NVLink连接。但是你的笔记本电脑的GPU和Colab的GPU之间没有这样的连接。这是一篇很好的阅读材料https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/。