大型文本语料库破坏了tm_map

6

最近几天我一直在努力解决这个问题。我搜索了所有的SO存档并尝试了建议的解决方案,但似乎无法使其工作。我有一些文本文档集合,它们位于像2000 06、1995 -99等文件夹中,我想运行一些基本的文本挖掘操作,例如创建文档术语矩阵和术语文档矩阵,并执行一些基于单词共现的操作。我的脚本对较小的语料库有效,但当我尝试使用更大的语料库时,它却失败了。我粘贴了一个类似的文件夹操作的代码。

library(tm) # Framework for text mining.
library(SnowballC) # Provides wordStem() for stemming.
library(RColorBrewer) # Generate palette of colours for plots.
library(ggplot2) # Plot word frequencies.
library(magrittr)
library(Rgraphviz)
library(directlabels)

setwd("/ConvertedText")
txt <- file.path("2000 -06")

docs<-VCorpus(DirSource(txt, encoding = "UTF-8"),readerControl = list(language = "UTF-8"))
docs <- tm_map(docs, content_transformer(tolower), mc.cores=1)
docs <- tm_map(docs, removeNumbers, mc.cores=1)
docs <- tm_map(docs, removePunctuation, mc.cores=1)
docs <- tm_map(docs, stripWhitespace, mc.cores=1)
docs <- tm_map(docs, removeWords, stopwords("SMART"), mc.cores=1)
docs <- tm_map(docs, removeWords, stopwords("en"), mc.cores=1)
#corpus creation complete

setwd("/ConvertedText/output")
dtm<-DocumentTermMatrix(docs)
tdm<-TermDocumentMatrix(docs)
m<-as.matrix(dtm)
write.csv(m, file="dtm.csv")
dtms<-removeSparseTerms(dtm, 0.2)
m1<-as.matrix(dtms)
write.csv(m1, file="dtms.csv")
# matrix creation/storage complete

freq <- sort(colSums(as.matrix(dtm)), decreasing=TRUE)
wf <- data.frame(word=names(freq), freq=freq)
freq[1:50]
#adjust freq score in next line
p <- ggplot(subset(wf, freq>100), aes(word, freq))+ geom_bar(stat="identity")+ theme(axis.text.x=element_text(angle=45, hjust=1))
ggsave("frequency2000-06.png", height=12,width=17, dpi=72)
# frequency graph generated


x<-as.matrix(findFreqTerms(dtm, lowfreq=1000))
write.csv(x, file="freqterms00-06.csv")
png("correlation2000-06.png", width=12, height=12, units="in", res=900)
graph.par(list(edges=list(col="lightblue", lty="solid", lwd=0.3)))
graph.par(list(nodes=list(col="darkgreen", lty="dotted", lwd=2, fontsize=50)))
plot(dtm, terms=findFreqTerms(dtm, lowfreq=1000)[1:50],corThreshold=0.7)
dev.off()

当我在tm_map中使用mc.cores=1参数时,操作会无限期地继续。但是,如果我在tm_map中使用lazy=TRUE参数,它似乎运行良好,但随后的操作会出现此错误。

Error in UseMethod("meta", x) : 
  no applicable method for 'meta' applied to an object of class "try-error"
In addition: Warning messages:
1: In mclapply(x$content[i], function(d) tm_reduce(d, x$lazy$maps)) :
  all scheduled cores encountered errors in user code
2: In mclapply(unname(content(x)), termFreq, control) :
  all scheduled cores encountered errors in user code

我一直在寻找解决方案,但一直没有成功。非常感谢您的帮助!
最好! k
1个回答

13
我找到了一个可行的解决方案。
背景/调试步骤:
我尝试了几个无效的方法:
- 将“content_transformer”添加到某些tm_map中,或全部添加,或只添加一个(totower) - 将“lazy = T”添加到tm_map中 - 尝试了一些并行计算包
虽然对于我的三个脚本中的2个脚本它不起作用,但对于第三个脚本它每次都有效。但是所有三个脚本的代码都相同,只是我加载的.rda文件大小不同。数据结构对于所有三个脚本也是相同的。
数据集1:大小-493.3KB = 错误 数据集2:大小-630.6KB = 错误 数据集3:大小-300.2KB = 正常工作!
很奇怪。
我的sessionInfo()输出:
R version 3.1.2 (2014-10-31)
Platform: x86_64-apple-darwin13.4.0 (64-bit)

locale:
[1] de_DE.UTF-8/de_DE.UTF-8/de_DE.UTF-8/C/de_DE.UTF-8/de_DE.UTF-8

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] snowfall_1.84-6    snow_0.3-13        Snowball_0.0-11    RWekajars_3.7.11-1 rJava_0.9-6              RWeka_0.4-23      
[7] slam_0.1-32        SnowballC_0.5.1    tm_0.6             NLP_0.1-5          twitteR_1.1.8      devtools_1.6      

loaded via a namespace (and not attached):
[1] bit_1.1-12     bit64_0.9-4    grid_3.1.2     httr_0.5       parallel_3.1.2 RCurl_1.95-4.3    rjson_0.2.14   stringr_0.6.2 
[9] tools_3.1.2

解决方案

在加载数据后,我添加了这行代码,现在一切正常:

MyCorpus <- tm_map(MyCorpus,
                     content_transformer(function(x) iconv(x, to='UTF-8-MAC', sub='byte')),
                     mc.cores=1)

在这里找到了提示:http://davetang.org/muse/2013/04/06/using-the-r_twitter-package/(作者由于错误已于2014年11月26日更新了他的代码。)


1
谢谢,帮了很大的忙! - xbsd
非常感谢!我忘记了我的SO账户密码,所以现在才看到这个 :) - Kartik

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接