我有一些函数在本地的 local_code.py 文件中,我想通过dask将它们传递给工作程序。我看到这里的一些问题的答案说可以使用 upload_file() 函数来实现,但我似乎无法让它工作,因为我仍然收到一个 ModuleNotFoundError。 相关代码如下。 from das...
我有一个包含n个工作进程的dask集群,想让这些工作进程查询数据库。但是数据库只能同时处理m个查询,其中m<n。如何在dask.distributed中模拟?只有m个工作进程应该并行处理此类任务。 我看到distributed支持锁(http://distributed.readthe...
import dask.distributed def f(x, y): return x, y client = dask.distributed.Client() client.map(f, [(1, 2), (2, 3)]) 无法正常工作。 [<Future: sta...
我正在努力理解本地计算机上使用Dask的使用模式。 具体而言, 我有一个适合内存的数据集 我想执行一些pandas操作 分组... 日期解析 等等。 Pandas通过单个核心执行这些操作,对我来说这些操作需要几个小时。我有8个核心的计算机,因此我想尽可能地使用Dask并行化这些操作...