Hive On Spark：java.lang.NoClassDefFoundError错误：org/apache/hive/spark/client/Job。

Question

当我在Hive控制台上以调试模式运行查询时，我得到了以下错误。我使用的是hive-1.2.1和spark 1.5.1; 我检查了hive-exec jar，其中包含类定义org/apache/hive/spark/client/Job。

Caused by: java.lang.NoClassDefFoundError: org/apache/hive/spark/client/Job
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:792)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:411)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at org.apache.hive.com.esotericsoftware.kryo.util.DefaultClassResolver.readName(DefaultClassResolver.java:136)
    at org.apache.hive.com.esotericsoftware.kryo.util.DefaultClassResolver.readClass(DefaultClassResolver.java:115)
    at org.apache.hive.com.esotericsoftware.kryo.Kryo.readClass(Kryo.java:656)
    at org.apache.hive.com.esotericsoftware.kryo.serializers.ObjectField.read(ObjectField.java:99)
    at org.apache.hive.com.esotericsoftware.kryo.serializers.FieldSerializer.read(FieldSerializer.java:507)
    at org.apache.hive.com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:776)
    at org.apache.hive.spark.client.rpc.KryoMessageCodec.decode(KryoMessageCodec.java:96)
    at io.netty.handler.codec.ByteToMessageCodec$1.decode(ByteToMessageCodec.java:42)
    at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:327)
    ... 15 more*

最终查询失败并显示如下错误信息:

"ERROR spark.SparkTask: Failed to execute spark task, with exception 'java.lang.IllegalStateException(RPC channel is closed.)'"*

我应该如何解决这个问题?

- Arvindkumar

---

你在Spark集群上有HiveContext吗？ - eliasah

@eliasah，我在Spark上有hiveContext。查询在spark-sql上可以正常工作，但在hive-on-spark上不行。 - Arvindkumar

这个问题通过升级到Spark 1.3.0版本并在没有Hive的情况下重新构建解决了。 - Arvindkumar

实际上我还有这个问题，我使用的是带有Hive 1.2.1的Spark 1.6.0版本。 - user1314742

Answer 1

在hive-1.2.1的pom.xml文件中，spark.version为1.3.1。

因此，简单的方法是从spark.apache.org下载一个spark-1.3.1-bin-hadoop。

然后，将其路径添加到hive-site.xml中，例如：

<property>
  <name>spark.home</name>
  <value>/path/spark-1.3.1-bin-hadoop2.4</value>
</property>

- Faxian Zhao