LSA链接:
以下是完整的算法。如果您拥有SVD，那么您已经完成了大部分工作。上述论文比我更好地解释了它。
假设：
- 您的SVD函数将按降序给出奇异值和奇异向量。 如果不是这样，您需要做更多的杂技。
M：语料库矩阵，w（单词）乘以d（文档）（w行，d列）。这些可以是原始计数，或tfidf或其他任何东西。停用词可能会被消除，也可能不会，而词干可能会发生变化（Landauer表示保留停用词，不进行词干提取，但可以使用tfidf）。
U,Sigma,V = singular_value_decomposition(M)
U: w x w
Sigma: min(w,d) length vector, or w * d matrix with diagonal filled in the first min(w,d) spots with the singular values
V: d x d matrix
Thus U * Sigma * V = M
那么，简化性... 实际的LSA论文建议一个好的基础近似是保留足够的向量，使它们的奇异值超过奇异值总和的50%。
更简洁地说...(伪代码)
Let s1 = sum(Sigma).
total = 0
for ii in range(len(Sigma)):
val = Sigma[ii]
total += val
if total > .5 * s1:
return ii
这将返回新基础的等级，之前为min(d,w)，现在我们将用{ii}进行近似。
(这里，“-> prime”表示不是转置)
我们创建新矩阵：U'、Sigma'、V'，大小分别为w x ii，ii x ii和ii x d。
这就是LSA算法的本质。
由此产生的矩阵U' * Sigma' * V'可用于“改进”的余弦相似性搜索，或者您可以选择其中每个文档的前3个单词。是否比简单的tf-idf更有效仍有一些争议。
对我来说，由于多义词和包含太多主题的数据集，LSA在实际数据集中表现不佳。它的数学/概率基础是不可靠的（它假设正常-ish（高斯）分布，这对于单词计数没有意义）。
你的结果肯定会有所不同。
使用LSA进行标记（一种方法！）
使用SVD和缩减启发式构建U' Sigma' V'维度降低矩阵
手动查看U'矩阵，并想出描述每个“主题”的术语。例如，如果该向量的最大部分是“Bronx，Yankees，Manhattan”，则“New York City”可能是一个好术语。将这些保存在关联数组或列表中。由于向量数是有限的，因此这一步应该是合理的。
假设您有一个单词向量（v1）用于文档，则v1 * t(U')将为该文档提供最强的“主题”。选择前3个最高的主题，然后将它们作为上一步计算出的“主题”。
