我有一系列文件(约50,000个),我已经将它们转换成语料库,并使用R中的topicmodels包构建LDA对象。不幸的是,为了测试超过150个主题,需要几个小时的时间。
到目前为止,我已经发现可以同时测试几个不同的聚类大小,使用以下方法:
到目前为止,我已经发现可以同时测试几个不同的聚类大小,使用以下方法:
library(topicmodels)
library(plyr)
library(foreach)
library(doMC)
registerDoMC(5) # use 5 cores
dtm # my documenttermmatrix
seq <- seq(200,500, by=50)
models <- llply(seq, function(d){LDA(dtm, d)}, .parallel=T)
有没有一种方法可以并行化LDA功能,以便它运行更快(而不是同时运行多个LDAs)?