我有一个超过35000行的pandas系列。我想使用dask使其更高效。然而,我发现无论是dask代码还是pandas代码都需要相同的时间。
最初的"ser"是一个pandas系列,fun1和fun2是基本函数,用于在系列的各个行中执行模式匹配。
ser = ser.apply(fun1).apply(fun2)
Dask:
ser = dd.from_pandas(ser, npartitions = 16)
ser = ser.apply(fun1).apply(fun2)
在检查CPU核心状态时,我发现并不是所有的核心都在运行。只有一个核心被用于 100%。
是否有一种方法可以使用Dask使系列代码更快或者利用CPU的所有核心来执行Dask操作?