7得票2回答
如何正确使用Dask的upload_file()将本地代码传递给工作节点

我有一些函数在本地的 local_code.py 文件中,我想通过dask将它们传递给工作程序。我看到这里的一些问题的答案说可以使用 upload_file() 函数来实现,但我似乎无法让它工作,因为我仍然收到一个 ModuleNotFoundError。 相关代码如下。 from das...

7得票3回答
dask.distributed中的信号量?

我有一个包含n个工作进程的dask集群,想让这些工作进程查询数据库。但是数据库只能同时处理m个查询,其中m<n。如何在dask.distributed中模拟?只有m个工作进程应该并行处理此类任务。 我看到distributed支持锁(http://distributed.readthe...

7得票1回答
从Dask任务中获取工作节点的ID

在任务内部,Dask Worker 是否有工作 ID 或其他可编程访问的唯一标识符?

7得票2回答
如何向dask.distributed.Client().map()传递多个参数?

import dask.distributed def f(x, y): return x, y client = dask.distributed.Client() client.map(f, [(1, 2), (2, 3)]) 无法正常工作。 [<Future: sta...

7得票1回答
本地使用Dask:使用Client()还是不使用?

我正在努力理解本地计算机上使用Dask的使用模式。 具体而言, 我有一个适合内存的数据集 我想执行一些pandas操作 分组... 日期解析 等等。 Pandas通过单个核心执行这些操作,对我来说这些操作需要几个小时。我有8个核心的计算机,因此我想尽可能地使用Dask并行化这些操作...