我正在尝试对一个大数据集(吉字节级别)进行聚类。为了进行聚类,需要计算每个点到其他每个点的距离,因此最终会得到一个N^2大小的距离矩阵,而对于我的数据集来说,这个矩阵的大小将达到exabytes级别。在Matlab中使用pdist方法很快就会出现问题。
有没有一种方法可以先对大数据集的子集进行聚类,然后再对相似的聚类进行合并?
我不知道这是否有所帮助,但数据是固定长度的二进制字符串,因此我正在使用汉明距离(距离=字符串1 XOR 字符串2)来计算它们之间的距离。
有没有一种方法可以先对大数据集的子集进行聚类,然后再对相似的聚类进行合并?
我不知道这是否有所帮助,但数据是固定长度的二进制字符串,因此我正在使用汉明距离(距离=字符串1 XOR 字符串2)来计算它们之间的距离。