我有一个约12k个文档的特定语料库,我想在其中测试具有相似含义的近似重复文档 - 比如不同新闻机构报道同一事件的文章。
我已经尝试了gensim的Word2Vec,即使测试文档在语料库中,也给出了可怕的相似度得分(<0.3)。我还尝试了SpaCy,它给出了大于0.9相似度的5k多个文档。我测试了SpaCy的最相似文档,但结果大多无用。
以下是相关代码。
使用gensim,我找到了一种不错的方法,需要进行一些预处理,但相似性得分仍然很低。是否有人遇到过这样的问题,或者有哪些资源或建议可能有用?
我已经尝试了gensim的Word2Vec,即使测试文档在语料库中,也给出了可怕的相似度得分(<0.3)。我还尝试了SpaCy,它给出了大于0.9相似度的5k多个文档。我测试了SpaCy的最相似文档,但结果大多无用。
以下是相关代码。
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
lsi = models.LsiModel(corpus, id2word=dictionary, num_topics=40)
doc = preprocess(query)
vec_bow = dictionary.doc2bow(doc)
vec_lsi_tfidf = lsi[tfidf[vec_bow]] # convert the query to LSI space
index = similarities.Similarity(corpus = corpus, num_features = len(dictionary), output_prefix = "pqr")
sims = index[vec_lsi_tfidf] # perform a similarity query against the corpus
most_similar = sorted(list(enumerate(sims)), key = lambda x:x[1])
for mid in most_similar[-100:]:
print(mid, file_list[mid[0]])
使用gensim,我找到了一种不错的方法,需要进行一些预处理,但相似性得分仍然很低。是否有人遇到过这样的问题,或者有哪些资源或建议可能有用?