我已经安装了dask。我的主要目的是对大数据集进行聚类,但在开始工作之前,我想进行一些测试。然而,每当我想运行一个dask代码片段时,它都需要太长时间,最后会出现内存错误。我尝试了他们的Spectral Clustering Example和下面的简短代码。
你认为问题是什么?
你认为问题是什么?
from dask.distributed import Client
from sklearn.externals.joblib import parallel_backend
from sklearn.datasets import make_blobs
from sklearn.cluster import DBSCAN
import datetime
X, y = make_blobs(n_samples = 150000, n_features = 2, centers = 3, cluster_std = 2.1)
client = Client()
now = datetime.datetime.now()
model = DBSCAN(eps = 0.5, min_samples = 30)
with parallel_backend('dask'):
model.fit(X)
print(datetime.datetime.now() - now)