我是新手,想使用sparksession或sqlcontext解析json文件。但是无论我运行哪个,都会出现以下错误。
Exception in thread "main" java.lang.NoSuchMethodError:
org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lorg/apache/spark/internal/config/ConfigEntry; at
org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$sessionStateClassName(SparkSession.scala:930) at
org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:112) at
org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:110) at
org.apache.spark.sql.DataFrameReader.<init>(DataFrameReader.scala:535) at
org.apache.spark.sql.SparkSession.read(SparkSession.scala:595) at
org.apache.spark.sql.SQLContext.read(SQLContext.scala:504) at
joinAssetsAndAd$.main(joinAssetsAndAd.scala:21) at
joinAssetsAndAd.main(joinAssetsAndAd.scala)
目前我在Eclipse IDE中创建了一个Scala项目,并将其配置为Maven项目,并添加了Spark和SQL依赖项。
我的依赖关系:
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.0.0</version>
</dependency>
</dependencies>
请问您能否解释一下为什么我会收到这个错误,并说明如何纠正它们?
2.1.0
。 - L. CWIspark-sql
已经作为依赖项需要spark-core
,因此指定两次spark-core
没有太多意义。此外,在您的 Maven 中版本不同:spark-sql = 2.0.0
,spark-core = 2.1.0
。 - dk14