如何绘制K均值算法的混淆/相似性矩阵

Question

我使用scikit learn应用K-mean算法对一些文本文档进行分类，并展示聚类结果。 我想要展示聚类中的相似性，可以使用相似性矩阵。 在scikit learn库中，我没有看到可以实现这个功能的工具。

# headlines type: <class 'numpy.ndarray'> tf-idf vectors
pca = PCA(n_components=2).fit(headlines)
data2D = pca.transform(to_headlines)
pl.scatter(data2D[:, 0], data2D[:, 1])
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(headlines)

有没有什么方式/库可以让我轻松地绘制这个余弦相似性矩阵？

- mel

---

Kmeans会为每个点返回聚类标签。您可以使用它在散点图中进行可视化（按聚类标签着色）。 - Saikat Kumar Dey

只是想澄清一下，您是想为每个聚类显示一个相似度矩阵，还是想为所有点显示一个相似度矩阵，并以某种方式在视觉上区分不同的聚类？ - David Z

我正在尝试显示一个矩阵，其中所有的聚类都在对角线上。 - mel

Answer 1

如果我理解正确的话，您想要制作一个类似于这里所示的混淆矩阵。然而，这需要一个可以相互比较的truth和prediction。假设您有一个将标题分类为k组（即truth）的黄金标准，您可以将其与KMeans聚类（即prediction）进行比较。

唯一的问题是，KMeans聚类对您的truth没有任何了解，这意味着它生成的聚类标签将无法与黄金标准组的标签匹配。不过，有一个解决方法，就是基于最佳可能匹配将kmeans labels匹配到truth labels上。

以下是这个过程的一个例子。

---

首先，让我们生成一些示例数据——在这种情况下，每个样本有50个特征，样本共100个，从4个不同（且略有重叠）的正态分布中抽取。细节并不重要；所有这些都是为了模仿您可能正在使用的数据集类型。在这种情况下，truth是样本生成自哪个正态分布的均值。

# User input
n_samples  = 100
n_features =  50

# Prep
truth = np.empty(n_samples)
data  = np.empty((n_samples, n_features))
np.random.seed(42)

# Generate
for i,mu in enumerate(np.random.choice([0,1,2,3], n_samples, replace=True)):
    truth[i]  = mu
    data[i,:] = np.random.normal(loc=mu, scale=1.5, size=n_features)

# Show
plt.imshow(data, interpolation='none')
plt.show()

---

接下来，我们可以应用PCA和KMeans。

需要注意的是，我不确定在您的示例中PCA的确切作用是什么，因为您实际上没有将PC用于KMeans，而且不清楚转换的数据集to_headlines是什么。

在这里，我正在转换输入数据本身，然后使用PC进行KMeans聚类。我还使用输出来说明Saikat Kumar Dey在您的问题中建议的可视化方法：一个散点图，其中点按簇标签着色。

# PCA
pca = PCA(n_components=2).fit(data)
data2D = pca.transform(data)

# Kmeans
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(data2D)

# Show
plt.scatter(data2D[:, 0], data2D[:, 1],
            c=km.labels_, edgecolor='')
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()

---

接下来，我们需要在最初生成的“真实标签”（即样本正态分布的mu值）和聚类生成的“kmeans标签”之间寻找最佳匹配对。

在这个例子中，我简单地使用了最大化真正预测数的匹配方法。 请注意，这是一种简单、快速且不太精确的解决方案！

如果你的预测总体上很好，并且你的数据集中每个组的样本数量相似，它可能会正常工作 - 否则，它可能会产生错误匹配/合并，从而过高地评估你的聚类质量。

欢迎提出更好的解决方案。

# Prep
k_labels = km.labels_  # Get cluster labels
k_labels_matched = np.empty_like(k_labels)

# For each cluster label...
for k in np.unique(k_labels):

    # ...find and assign the best-matching truth label
    match_nums = [np.sum((k_labels==k)*(truth==t)) for t in np.unique(truth)]
    k_labels_matched[k_labels==k] = np.unique(truth)[np.argmax(match_nums)]

---

现在我们已经匹配了 真实值 和 预测结果，我们终于可以计算并绘制混淆矩阵了。

# Compute confusion matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(truth, k_labels_matched)

# Plot confusion matrix
plt.imshow(cm,interpolation='none',cmap='Blues')
for (i, j), z in np.ndenumerate(cm):
    plt.text(j, i, z, ha='center', va='center')
plt.xlabel("kmeans label")
plt.ylabel("truth label")
plt.show()

希望这个能帮到你！

---

- WhoIsJack