TensorFlow放置算法

Question

TensorFlow放置算法

pythonalgorithmtensorflowdistributed

5

我想知道TensorFlow的放置算法（如白皮书所述）何时实际使用。到目前为止，我看到的所有分发TensorFlow的示例似乎都手动指定节点应该在哪里执行，使用tf.device()。

- PaulWen

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- mrry · Accepted Answer

在TensorFlow白皮书的3.2.1节中描述的动态放置算法未包含在开源版本中。相反，使用“简单放置器”（其实现可在simple_placer.cc中找到），但需要一些显式注释（通过tf.device()）才能产生有效的放置。高级构造，如tf.train.replica_device_setter()，包装了tf.device()以指定常见策略，例如“在参数服务器上分片变量，并在工作设备上放置所有操作”，我们在分布式训练中广泛使用这个功能。

实践中我们发现，一小组注释通常比动态放置器确定的更有效，但改进放置算法仍然是一个活跃研究领域。