Spark Java框架中的连接池技术

Question

Java Spark框架使用内嵌的Jetty作为Web服务器。 Jetty支持使用HikariCP等工具进行连接池管理，并在XML文件中提供配置选项。但是，根据这些帖子，Spark不允许配置Jetty。 有很多使用Spark的示例，但它们要么没有使用数据库，要么使用DriverManager连接数据库。

在Spark中是否可以通过数据源和JNDI配置连接池？如果可以，怎么做？

- Jan Bodnar

---

你解决了吗？我也遇到了同样的问题。 - kittu

没有，我已经在这个问题上设置了悬赏。 - Jan Bodnar

在 Github 上有一个关于这个功能请求的讨论线程。如果你擅长 Java，可以去看一下。 - kittu

我看了一下你在“这些帖子”中提到的线程和提交，它为嵌入式Jetty使用“JettyServerFactory”的线程提供了灵活性。这与解决连接池的问题无关。 - Bilbo Baggins

@JanBodnar 我在 GitHub 上开了个问题：https://github.com/perwendel/spark/issues/833 - kittu

好的，我明白了；如果他们完成请求，我会发布答案。 - Jan Bodnar

Answer 1

我使用HikariCP配置了Spark Java和MariaDB的连接池，没有使用Jetty而是使用了Apache Tomcat。以下是一些代码片段： src/main/resources/mysql-connection.properties

dataSourceClassName=com.mysql.jdbc.jdbc2.optional.MysqlDataSource
dataSource.url=<url>
dataSource.user=<user>
dataSource.password=<password>
dataSource.cachePrepStmts=true
dataSource.prepStmtCacheSize=100
dataSource.prepStmtCacheSqlLimit=2048
dataSource.useServerPrepStmts=true
maximumPoolSize=10

com/example/app/DataSourceFactory.java

public final class DataSourceFactory {

    static final Logger LOG = LoggerFactory.getLogger(DataSourceFactory.class);

    private static DataSource mySQLDataSource;

    private DataSourceFactory() {
    }

    //returns javax.sql.DataSource
    public static DataSource getMySQLDataSource() {
        if (mySQLDataSource == null) {
            synchronized (DataSourceFactory.class) {
                if (mySQLDataSource == null) {
                    mySQLDataSource = getDataSource("mysql-connection.properties");
                }
            }
        }
        return mySQLDataSource;
    }

    // method to create the DataSource based on configuration
    private static DataSource getDataSource(String configurationProperties) {
        Properties conf = new Properties();
        try {
            conf.load(DataSourceFactory.class.getClassLoader().getResourceAsStream(configurationProperties));
        } catch (IOException e) {
            LOG.error("Can't locate database configuration", e);
        }
        HikariConfig config = new HikariConfig(conf);
        HikariDataSource dataSource = new HikariDataSource(config);
        LOG.info("DataSource[" + configurationProperties + "] created " + dataSource);
        return dataSource;
    }

}

WebContent/WEB-INF/web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" 
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
    xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee                              
    http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd" version="3.1">

    <display-name>My Spark App</display-name>
    <filter>
        <filter-name>SparkFilter</filter-name>
        <filter-class>spark.servlet.SparkFilter</filter-class>
        <init-param>
            <param-name>applicationClass</param-name>
            <param-value>com.example.app.MySparkApp</param-value>
            <!-- MySparkApp implements spark.servlet.SparkApplication -->
        </init-param>
    </filter>
    <filter-mapping>
        <filter-name>SparkFilter</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>
    <listener>
        <listener-class>com.example.app.AppServletContextListener</listener-class>
    </listener>
</web-app>

com/example/app/AppServletContextListener.java

public class AppServletContextListener implements ServletContextListener {

    static final Logger LOG = LoggerFactory.getLogger(AppServletContextListener.class);

    @Override
    public void contextInitialized(ServletContextEvent arg0) {
        LOG.info("contextInitialized...");
    }

    @Override
    public void contextDestroyed(ServletContextEvent arg0) {
        LOG.info("contextDestroyed...");
        try {
            if (DataSourceFactory.getMySQLDataSource() != null) {
                DataSourceFactory.getMySQLDataSource().unwrap(HikariDataSource.class).close();
            }

        } catch (SQLException e) {
            LOG.error("Problem closing HikariCP pool", e);
        }

    }

}

最后，您可以通过调用DataSourceFactory.getMySQLDataSource().getConnection()来获得一个池化的java.sql.Connection。

- user1357768

---

嗨，感谢您的回答。我知道在Tomcat中可以实现。问题是如何在默认为Spark的嵌入式Jetty中实现它。 - Jan Bodnar

这是在谈论Apache Spark吗？ - BrendanM

@BrendanM sparkjava.com - kittu

Answer 2

这是可能的，但你必须：

1. 配置池
2. 保持数据源的静态引用
3. 找到开始/连接数据库的位置，更重要的是找到关闭/释放池的方法

点1）和2）可以很简单：

static final HikariDataSource datasource = new HikariDataSource(new HikariConfig());

我不知道Sparkjava是否支持启动/停止事件。在这方面我无能为力。

如果愿意，您可以尝试使用http://jooby.org（我是作者）和jdbc模块：

{
  use(new Jdbc());

  get("/db", () -> {
    DataSource ds = require(DataSource.class);
  });
}

Jdbc 模块提供一个具有合理默认选项的 HikariDatasource，同时您可以通过 application.conf 文件自定义池设置。

还有一些高级的 jdbc 模块，如 Hibernate、Ebean、jOOQ、Jdbi 等。

- Edgar Espina