主题建模在短文本上的应用Python

Question

我想对短文本进行主题建模。我研究了一些LDA的资料，发现它不太适合处理短文本。有哪些更好的方法可以使用，并且它们是否有Python实现？

- Sri Test

Answer 1

除了 GSDM 外，还有用 Python 实现的 biterm 可用于短文本主题建模。

- chefhose

Answer 2

你可以尝试使用短文本主题建模（请参考此 https://www.groundai.com/project/sttm-a-tool-for-short-text-topic-modeling/1 ）（代码可在https://github.com/qiang2100/STTM上获得）。它结合了最先进的算法和传统的用于长文本的主题建模方法，可以方便地用于处理短文本。

对于更专业的库，可以尝试使用lda2vec-tf，该库将单词向量与LDA主题向量相结合。它是从原始lda2vec分支出来并进行改进的，比原始库具有更好的效果。

- red_mouse_coder

---

它们在 Python 中可用吗？ - Sample Test

据我所见，STTM是用Java编写的，并且只有Java API。不过，如果有人为它制作一个Python绑定，那就太好了。 - Ilya Palachev

Answer 3

这是我最近写的一个非常快速且易于使用的GSDMM实现，可以在Python中使用：https://github.com/centre-for-humanities-computing/tweetopic。我发现现有的实现在性能方面相当缺乏，而这个实现通常比gsdmm快60倍，文档更好，并且完全兼容sklearn。

- Márton Kardos

---

当链接到您是贡献者的 github 存储库时，如果您不披露它是您的项目，则可能看起来像是自我推销。此外，如果您解释一下这个库是什么以及如何帮助回答 OP 的问题，会更有帮助。有关更多信息，请参见以下答案： https://meta.stackexchange.com/questions/229085/how-to-offer-personal-open-source-libraries/229091#229091 - Del

谢谢提醒，我会确保解决这个问题。 - Márton Kardos

Answer 4

唯一的Python实现短文本主题建模是GSDMM。不幸的是，大多数其他实现都是用Java编写的。

- Ilya Palachev