Gensim LDA 相关性得分为Nan。

Question

我按照以下教程创建了一个Gensim LDA模型：https://www.machinelearningplus.com/nlp/topic-modeling-gensim-python/

lda_model = gensim.models.LdaMulticore(data_df['bow_corpus'], num_topics=10, id2word=dictionary, random_state=100, chunksize=100, passes=10, per_word_topics=True)

它生成了10个主题，log_perplexity为：

lda_model.log_perplexity(data_df['bow_corpus']) = -5.325966117835991

但是当我运行一致性模型来计算相干性得分时：

coherence_model_lda = CoherenceModel(model=lda_model, texts=data_df['bow_corpus'].tolist(), dictionary=dictionary, coherence='c_v')
with np.errstate(invalid='ignore'):
    lda_score = coherence_model_lda.get_coherence()

我的LDA分数为nan。这是什么问题？

- Ramsha Siddiqui

Answer 1

已解决！ 一致性模型需要原始文本，而不是用于LDA_Model的训练语料库 - 因此，当我运行以下命令时：

coherence_model_lda = CoherenceModel(model=lda_model, texts=data_df['corpus'].tolist(), dictionary=dictionary, coherence='c_v')
with np.errstate(invalid='ignore'):
    lda_score = coherence_model_lda.get_coherence()

我的一致性得分为：0.462

希望这能帮助其他犯同样错误的人。谢谢！

- Ramsha Siddiqui

---

遇到了同样的问题！感谢分享！ - dshgna

谢谢！我正在测试它。你等待一致性得分计算了多长时间？我等了不到2个小时，现在还在运行。 - HOA

Answer 2

文档（https://radimrehurek.com/gensim/models/coherencemodel.html）说明需要提供“标记化文本”（字符串列表的列表）- 这些应该是拆分为字典中单词的您的文本。如果提供未标记化的完整文本，则查找字典中没有这些单词的条目。

- wordsforthewise

---

点赞因为这可能是一个问题，但OP在同一解决方案中犯了另一个错误。 - David