我正在尝试在scala sbt应用程序中使用spark on yarn,而不是直接使用spark-submit
。
我已经运行了一个远程yarn集群,并且可以连接到yarn集群并在SparkR中运行Spark作业。但是当我尝试在scala应用程序中执行类似的操作时,它无法加载我的环境变量到yarn配置中,而是使用默认的yarn地址和端口。
sbt应用程序只是一个简单的对象:
object simpleSparkApp {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
.setAppName("simpleSparkApp")
.setMaster("yarn-client")
.set("SPARK_HOME", "/opt/spark-1.5.1-bin-hadoop2.6")
.set("HADOOP_HOME", "/opt/hadoop-2.6.0")
.set("HADOOP_CONF_DIR", "/opt/hadoop-2.6.0/etc/hadoop")
val sc = new SparkContext(conf)
}
}
当我在Intellij IDEA中运行这个应用程序时,日志显示:
15/11/15 18:46:05 INFO RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/11/15 18:46:06 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
15/11/15 18:46:07 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
看起来环境没有正确添加,因为0.0.0.0
不是远程yarn资源管理器节点的IP地址,而我的spark-env.sh
文件中有:
export JAVA_HOME="/usr/lib/jvm/ibm-java-x86_64-80"
export HADOOP_HOME="/opt/hadoop-2.6.0"
export HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop"
export SPARK_MASTER_IP="master"
我的yarn-site.xml
文件如下:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
我怎样才能正确地将Yarn集群配置的环境变量添加到这个sbt Spark应用程序中?
额外信息:
我的系统是Ubuntu14.04,可以连接到yarn集群的SparkR代码如下:
Sys.setenv(HADOOP_HOME = "/opt/hadoop-2.6.0")
Sys.setenv(SPARK_HOME = "/opt/spark-1.4.1-bin-hadoop2.6")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
library(SparkR)
sc <- sparkR.init(master = "yarn-client")