无法找到或加载主类org.apache.giraph.yarn.GiraphApplicationMaster

Question

我正在尝试在YARN集群（Hadoop 2.5.2）上运行Giraph，但我被卡在这个错误:

Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster

我尝试了之前留言中所有的方法，但都没有成功。我的命令行如下：

hadoop jar /home/prhodes/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/prhodes/input/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/prhodes/giraph_output/shortestpaths -w 4 -yj /home/prhodes/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar,/home/prhodes/giraph/giraph-core/target/giraph-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar

我已经检查了集群中每个节点上这些jar包的位置。同时，我已经验证了jar文件确实包含GiraphApplicationMaster.class。然而，它仍然抱怨找不到GiraphApplicationMaster。

有什么其他可能导致问题的想法或任何解决方法吗？我考虑将Giraph jars分发到每个节点，并将它们物理放置在Hadoop Classpath上，但Maven构建默认构建fat jars，这可能会导致问题。还有其他建议或想法吗？

- mindcrime

Answer 1

我用以下命令解决了这个问题:

cp $GIRAPH_HOME/giraph-examples/target/giraph-examples-1.1.0-for-hadoop-2.6.0-jar-with-dependencies.jar $HADOOP_HOME/share/hadoop/yarn/lib/

cp $GIRAPH_HOME/giraph-examples/target/ $HADOOP_HOME/share/hadoop/yarn/lib/

然后，运行你的任务。

- peroksid