用k-fold交叉验证来确定k-means中的k值？

Question

在文档聚类过程中，作为数据预处理步骤，我首先应用奇异向量分解来获取U、S和Vt，然后通过选择适当数量的特征值来截断Vt，从所阅读的此处得到良好的文档-文档相关性。现在我正在对矩阵Vt的列执行聚类，以将相似的文档聚集在一起，并且为此选择了k-means算法，初始结果看起来对我来说是可接受的（使用k = 10个聚类），但我想更深入地研究如何选择k值本身。在确定k-means中聚类数k之前，我被建议进行交叉验证。

在实施之前，我想弄清楚是否有一种内置的方法可以使用numpy或scipy来实现它。目前，我执行kmeans的方式只是简单地使用scipy中的函数。

import numpy, scipy

# Preprocess the data and compute svd
U, S, Vt = svd(A) # A is the TFIDF representation of the original term-document matrix

# Obtain the document-document correlations from Vt
# This 50 is the threshold obtained after examining a scree plot of S
docvectors = numpy.transpose(self.Vt[0:50, 0:]) 

# Prepare the data to run k-means
whitened = whiten(docvectors)
res, idx = kmeans2(whitened, 10, iter=20)

假设我的方法到目前为止是正确的（如果我漏掉了某些步骤，请纠正我），在这个阶段，使用输出执行交叉验证的标准方法是什么？任何关于如何将其应用于k-means的参考资料/实现/建议将不胜感激。

- Legend

Answer 1

为执行k折交叉验证，您需要一些用于优化的质量度量。这可以是分类度量，例如准确性或F₁，也可以是专用度量，例如V-measure。

即使是我知道的聚类质量度量也需要一个带标签的数据集（“地面实况”）才能工作；与分类不同之处在于，您只需要将部分数据标记为评估而无需全部标记，而k均值算法可以使用所有数据来确定中心点和聚类。

scikit-learn实现了V-measure和其他多个得分，以及通用的交叉验证代码和一个“网格搜索”模块，该模块使用k-fold CV根据指定的评估度量进行优化。免责声明：虽然我没有编写任何上述代码，但我参与了scikit-learn的开发。

- Fred Foo

---

谢谢您的回复。很抱歉，我现在有点困惑。那么我的结论是不是不能对k-means的输出使用k-fold交叉验证（因为k-means的输出只是我指定的数据分类到我指定的聚类中），而且我需要手动标记一些数据集？我想我的问题更多地是关于如何利用这种技术来确定k值或者是否需要遵循其他步骤。 - Legend

@Legend：交叉验证可以非常有用地找到正确的参数，但由于它需要一些数据进行标记，并且改变k实际上会改变标签的数量，因此它可能不是优化此特定参数的最佳技术。我无法再为您提供更多帮助；我不是每天都做聚类。 - Fred Foo

太好了！谢谢你澄清这个问题。我之前从另一个问题中得到了这种技巧的建议。我会寻找其他方法。再次感谢你的时间。 - Legend

Answer 2

实际上，要使用F1分数或V-Measure作为评分函数进行传统的交叉验证，您需要一些标记数据作为基本事实。但在这种情况下，您可以仅计算基本事实数据集中的类别数量，并将其用作K的最佳值，因此无需进行交叉验证。

或者，您可以使用聚类稳定性度量作为无监督性能评估，并对其进行某种交叉验证过程。但是，即使它仍在我的个人待办事项列表中，这在scikit-learn中尚未实现。

您可以在以下metaoptimize.com/qa上的答案中找到有关此方法的其他信息。特别是，您应该阅读Ulrike von Luxburg的《聚类稳定性：概述》。

- ogrisel

Answer 3

在这里，他们使用 withinss 来查找最佳聚类数。 "withinss" 是 kmeans 对象返回的属性。 它可以用来查找最小的 "误差"

https://www.statmethods.net/advstats/cluster.html

wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
for (i in 2:15) wss[i] <- sum(kmeans(mydata, 
   centers=i)$withinss)
plot(1:15, wss, type="b", xlab="Number of Clusters",
  ylab="Within groups sum of squares")

这个公式并不完全正确。但我正在自己研究一个模型。虽然每次模型仍会改变，但它至少会是一堆迭代中最好的模型。

- thistleknot