在我的项目中,我们正在尝试计算一组文档的文本相似度,但我遇到了两个问题。
1. 我不想重新计算我之前已经计算过的文档的词频。例如,我有10个文档,并且已经为所有10个文档计算了词频和逆文档频率。然后我获得了2个新文档。现在我不想重新计算已存在的10个文档的词频,但是想要计算新的2个文档的词频,然后使用所有12个文档的词频来计算这12个文档的IDF。 如何在不重新计算现有文档的TF的情况下计算所有文档的IDF? 2. 文档数量可能会增加,这意味着使用内存方法(InMemoryBayesDatastore)可能会变得麻烦。我想要的是将所有文档的TF保存在HBASE表中,当新文档到达时,计算新文档的TF并将其保存在HBASE表中,然后我使用这个HBASE表来获取所有文档的TF以计算IDF。 如何使用HBase提供数据给Mahout的文本相似度,而不是从序列文件中获取数据?
1. 我不想重新计算我之前已经计算过的文档的词频。例如,我有10个文档,并且已经为所有10个文档计算了词频和逆文档频率。然后我获得了2个新文档。现在我不想重新计算已存在的10个文档的词频,但是想要计算新的2个文档的词频,然后使用所有12个文档的词频来计算这12个文档的IDF。 如何在不重新计算现有文档的TF的情况下计算所有文档的IDF? 2. 文档数量可能会增加,这意味着使用内存方法(InMemoryBayesDatastore)可能会变得麻烦。我想要的是将所有文档的TF保存在HBASE表中,当新文档到达时,计算新文档的TF并将其保存在HBASE表中,然后我使用这个HBASE表来获取所有文档的TF以计算IDF。 如何使用HBase提供数据给Mahout的文本相似度,而不是从序列文件中获取数据?