在集群中重新分配dask任务

Question

4

我正在滥用dask作为长时间运行任务的任务调度程序，使用map(, pure=False)。因此，我对dask图不感兴趣，我只是将其用作分发Unix命令的方法。

假设我有1000个任务，在30个工作人员的集群上运行一周。我看到的情况是，如果一个工作人员停止工作，它的任务会重新分配给其余的工作人员。

有时，我可以从其他模拟中释放资源，并向desk集群添加新的工作人员。但是，这些工作人员然后被分配了0个任务并处于空闲状态。只有在旧的工作人员之一停机时，它们才会获得新任务，然后任务会重新分配。

所以，我的问题是：“我可以手动重新分配和洗牌dask集群上的任务吗？”

- MaxBenChrist

1

你确定你在询问尚未开始的任务，对吗？ - mdurant

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- MRocklin · Accepted Answer

调度程序应该已经将旧任务分配给新的工作人员。我们的工作窃取策略的相关信息在这里：

我很惊讶地听到任务不会自动重新平衡。如果您能够生成一个mcve以重现问题，我很乐意查看。