logo标签列表

无法将Spring Boot Java应用程序提交到Spark集群

javajarapache-sparkspring-boot
8

我使用Spring Boot开发了一个Web应用程序，它使用Apache Spark从不同的数据源（如Oracle）查询数据。一开始，我计划在不使用spark-submit脚本的情况下运行应用程序，但看起来我不能连接到主集群而不提交jar文件。我已经成功生成了一个uber jar文件，其中包括我正在使用的所有依赖项和子项目，但似乎Spark不喜欢Spring Boot应用程序。当我尝试提交应用程序时，Spark显示以下错误：

Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl.Log4jLoggerFactory loaded from file:/home/rojasmi1/spark/spark-1.4.0/assembly/target/scala-2.10/spark-assembly-1.4.0-hadoop2.2.0.jar). If you are using Weblogic you will need to add 'org.slf4j' to prefer-application-packages in WEB-INF/weblogic.xml Object of class [org.slf4j.impl.Log4jLoggerFactory] must be an instance of class ch.qos.logback.classic.LoggerContext
at org.springframework.util.Assert.isInstanceOf(Assert.java:339)
at org.springframework.boot.logging.logback.LogbackLoggingSystem.getLoggerContext(LogbackLoggingSystem.java:151)
at org.springframework.boot.logging.logback.LogbackLoggingSystem.getLogger(LogbackLoggingSystem.java:143)
at org.springframework.boot.logging.logback.LogbackLoggingSystem.beforeInitialize(LogbackLoggingSystem.java:89)
at org.springframework.boot.logging.LoggingApplicationListener.onApplicationStartedEvent(LoggingApplicationListener.java:152)
at org.springframework.boot.logging.LoggingApplicationListener.onApplicationEvent(LoggingApplicationListener.java:139)
at org.springframework.context.event.SimpleApplicationEventMulticaster.invokeListener(SimpleApplicationEventMulticaster.java:151)
at org.springframework.context.event.SimpleApplicationEventMulticaster.multicastEvent(SimpleApplicationEventMulticaster.java:128)
at org.springframework.boot.context.event.EventPublishingRunListener.publishEvent(EventPublishingRunListener.java:100)
at org.springframework.boot.context.event.EventPublishingRunListener.started(EventPublishingRunListener.java:54)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:277)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:957)
at org.springframework.boot.SpringApplication.run(SpringApplication.java:946)
at ch.dlx.QubidaOracleConnectorApplication.main(QubidaOracleConnectorApplication.java:12)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:664)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:169)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:192)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:111)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

使用Spark的默认log4j配置文件：org/apache/spark/log4j-defaults.properties

我已经尝试在pom文件中排除slf4j-log4j12依赖，但仍然遇到相同的错误。

pom文件包含以下配置：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>ch.dlx</groupId>
<artifactId>qubida-oracle-connector</artifactId>
<version>0.0.1-SNAPSHOT</version>

<name>qubida-oracle-connector</name>
<description></description>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <java.version>1.8</java.version>
</properties>

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-dependencies</artifactId>
            <version>1.2.5.RELEASE</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>log4j-over-slf4j</artifactId>
            </exclusion>

        </exclusions>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-tomcat</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>

    <!-- Spark -->

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.4.0</version>
        <scope>provided</scope>
        <exclusions>
                    <exclusion>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
        </exclusions>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>1.4.0</version>
        <scope>provided</scope>
    </dependency>

    <dependency>
        <groupId>org.mongodb</groupId>
        <artifactId>mongo-hadoop-core</artifactId>
        <version>1.3.0</version>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>log4j-over-slf4j</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

    <!-- DB Drivers -->

    <dependency>
        <groupId>com.oracle</groupId>
        <artifactId>ojdbc14</artifactId>
        <version>10.2.0.4.0</version>
    </dependency>


</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <configuration>
                <createDependencyReducedPom>false</createDependencyReducedPom>
                <keepDependenciesWithProvidedScope>true</keepDependenciesWithProvidedScope>

                <artifactSet>
                    <excludes>
                        <exclude>org.slf4j</exclude>
                    </excludes>
                </artifactSet>
            </configuration>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

有没有一种方法可以将Spring Boot应用提交到集群？考虑到我需要公开RESTful API，我应该使用另一种类型的项目吗？ 有没有一种方法可以连接到Spark集群而无需提交.jar文件？

非常感谢您的帮助。

3个回答
4

我有一个类似的问题，解决这个问题的方法是尝试使用以下排除项删除Spring Boot日志：

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-logging</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

如果在初始化servlet时仍然出现错误

java.lang.NoSuchMethodError: javax.servlet.ServletContext.getVirtualServerName()Ljava/lang/String;

那么请尝试使用1.2.1.RELEASE版本的starter parent，因为这是由于Spark Cluster使用的servlet-api版本引起的。

这正是我问题的解决方案。击掌！ - Stefan S
1
在构建时，Spring Boot会查看您是否已在构建中包含特定的日志记录实现；如果没有，则默认使用Logback。显然，当运行应用程序时，Spark会将Log4J添加到类路径中，这会导致运行时错误，因为Spring Boot现在在类路径上找到了两个日志记录实现：一个是它在构建时包含的（Logback），另一个是Spark在运行时添加的（Log4J）。
如果Spark提供了一种在运行时禁止包含Log4J的方法，那么您可以这样做，并让Spring Boot默认连接Logback。
如果Spark强制要求使用Log4J，则解决方案是在构建中明确包含Log4J（而不是Logback），以便Spring Boot在构建时“看到”它，从而不包括Logback。
编辑：我应该通过查看Spring Boot文档来检查我的假设。您还必须明确排除Log4J。请参见Spring Boot的日志记录文档。
亲爱的RichW，我按照你建议的第二种方法进行了操作（如果Spark强制使用Log4J，则解决方案是在构建中显式包含Log4J（而不是Logback），以便Spring Boot在构建时“看到”它，从而不包括Logback），但问题仍然存在。这是我如何显式添加Log4j依赖项的：<dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> </dependency> 你知道我还能尝试什么吗？ - Stefan S
抱歉，Stefan，我弄错了。我编辑了我的回答。 - RichW
0

Spark仅支持log4j。为了强制spring-boot默认使用log4j而不是logback，请应用spring-boot参考文档中的此过程，但请确保将log4j2更改为log4j并给出版本，例如1.2.17。 您还需要在src/main/resources中放置一个log4j.properties文件。您可以从Spark的/conf目录中复制log4j.properties.template并将其重命名为log4j.properties。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接