在Solr和Java中计算文档中单词的TF-IDF。

Question

在Solr和Java中计算文档中单词的TF-IDF。

4

我可以通过计算文档中术语的数量轻松获得TF，而我想知道如何计算文档频率，即包含此术语的文档数量。

截至目前为止，我查询Solr并返回大量结果进行计数，但这非常耗时和内存。我只想计算术语。

    SolrQuery q = new SolrQuery();
    q.setQuery("tweet_text:"+kw);
    q.addField("tweet_text");
    q.setRows(40000000);        
    SolrDocumentList results = null ;

    try {
        QueryResponse rsp = solrServer.query(q);
        results = rsp.getResults();
    } catch (SolrServerException e) {
        e.printStackTrace();
    }

    ArrayList<String> tweets = new ArrayList<String>();
    for (SolrDocument doc : results)
    {
        tweets.add(doc.getFieldValue("tweet_text").toString());
    }

- Hady Elsahar

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- femtoRgon · Accepted Answer

在SOLR中，您可以使用函数查询直接查询docFreq，如下所示：http://wiki.apache.org/solr/FunctionQuery#docfreq。

q={!func}docFreq(tweet_text, kw)

请注意，该页面还记录了用于获取tf、idf和termfreq的函数查询方法，这对您也可能有帮助。

回过头来看，这可能与此问题不太相关，但我将保留它以备后用。 IndexReader.docFreq(Term)可以获取您需要的内容。

例如：

reader.docFreq(new Term("tweet_text", kw));'

顺便说一下，IndexSearcher.docFreq（Term）是同样的东西。