logo标签列表

SparkContext错误：初始化SparkContext时出错。

scalaapache-spark
8

我使用的是spark-1.5.0-cdh5.6.0版本。尝试运行示例应用程序（scala） 命令如下：

> spark-submit --class com.cloudera.spark.simbox.sparksimbox.WordCount --master local /home/hadoop/work/testspark.jar

收到以下错误：

 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: File file:/user/spark/applicationHistory does not exist
        at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:534)
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747)
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524)
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:424)
        at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:100)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:541)
        at com.cloudera.spark.simbox.sparksimbox.WordCount$.main(WordCount.scala:12)
        at com.cloudera.spark.simbox.sparksimbox.WordCount.main(WordCount.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
2个回答
15

Spark拥有一个名为“历史服务器”的功能，它允许您在SparkContext终止后浏览历史事件。通过将spark.eventLog.enabled设置为true来设置此属性。

您有两个选项，要么通过spark.eventLog.dir配置值指定有效目录以存储事件日志，要么如果您不需要它，可以简单地将spark.eventLog.enabled设置为false。

您可以在Spark配置页面上了解更多信息。

@G.Saleh 很高兴能帮到你。 - Yuval Itzchakov
我不小心点击了。 - G.Saleh
0
我在使用Spark中的nltk时遇到了相同的错误，为了解决这个问题，我只需从spark-conf.default中删除所有与nltk相关的属性即可。
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接