我已经可以从我的Eclipse IDE中提交本地Scala编写的Spark作业。但是,我想修改我的应用程序内的Spark上下文,以便当我在Eclipse中“运行”应用程序时,作业将使用Yarn作为资源管理器发送到我的远程集群。
我的sbt配置(应用程序根目录)如下:
spark-submit
成功将作业提交到集群,命令如下: spark-submit --class <main class> --master yarn-cluster <jar>
。我希望在IDE内实现相同的结果。我的sbt配置(应用程序根目录)如下:
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"
libraryDependencies += "org.apache.spark" %% "spark-yarn" % "1.5.1" % "provided"
在我的应用程序中:
val conf = new SparkConf().setAppName("xxx").setMaster("yarn-cluster")
然而,我遇到了以下错误:Detected yarn-cluster mode, but isn't running on a cluster. Deployment to YARN is not supported directly by SparkContext. Please use spark-submit.