Apache Spark驱动程序无法看到外部jar包

Question

Apache Spark驱动程序无法看到外部jar包

4

我遇到了以下错误：

java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 当我试图从驱动器将一些东西保存到MySQL数据库时。在从slaves开始，我没有这个问题，因为我添加了SparkConf.setJars。我尝试过添加JavaSparkContext.addJar、代码中的spark.driver.extraLibraryPath参数和spark-defaults.conf文件以及提交应用程序时的--jars参数。但这些措施都没有解决我的问题，非常感谢任何想法或提示。

- Wojtek

我也在驱动器上设置了CLASSPATH变量，但并没有帮助。 - Wojtek

你能发布你的代码和启动作业的命令吗？你是指定完整路径还是相对路径？ - Metropolis

尝试使用UberJAR或Spark Fat Jar方法。 - Ajay Gupta

我解决了。你需要帮助还是已经找到解决方案了？ - abhijitcaps

我通过在 spark-submit 脚本中使用 --jars 参数来解决了这个问题。 - Wojtek

显示剩余2条评论

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Greg · Answer 1

尝试使用maven-assembly-plugin，它会将您的代码和所有依赖项捆绑在一个单独的JAR文件中，然后您可以将其提交给Spark。