Dask重复处理任务两次

Question

我注意到dask图中的任务可以由不同的工作进程执行多次。

此外，我在调度器控制台中看到日志（不知道是否与弹性有关）：

“警告-在发送结果时丢失与…的连接：流已关闭”

有没有办法阻止dask在不同的工作进程上执行相同的任务？

请注意，我正在使用： dask 0.15.0 distributed 1.15.1

谢谢， Bertrand

- Bertrand

Answer 1

简短回答是“不行”。

Dask保留多次调用您的函数的权利。如果工作进程出现问题，或者Dask进行负载平衡并在同时启动某些任务时将一些任务移动到集群中，则可能会发生这种情况。

但是，您可以通过关闭工作窃取来显着降低任务多次运行的可能性：

def turn_off_stealing(dask_scheduler):
    dask_scheduler.extensions['stealing']._pc.stop()

client.run(turn_off_stealing)

- MRocklin