跳到主要内容

20、SpringBoot 实战 - 集成 Druid 连接池

一、简介

1.定义

Druid数据库连接池:是一个 Java 语言编写的高性能、高可用性的开源数据库连接池组件,有阿里巴巴开发和维护。它提供了一种可靠的、可管理的、高性能的数据库连接池解决方案,可以在 Java 应用程序中管理和复用数据库连接。

GitHub地址: https://github.com/alibaba/druid

官方文档: https://github.com/alibaba/druid/wiki/Druid连接池介绍

常见问题: https://github.com/alibaba/druid/wiki/常见问题

starter文档: https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter

监控页面: http://localhost:8080/druid/index.html

2.特点

以下是Druid连接池组件的特点:

1、 基于开放标准:Druid连接池完全遵循Java数据库连接标准(JDBC),可以与任何标准的JDBC驱动程序一起使用;
2、 高性能:Druid连接池采用了一系列优化策略和技术,包括连接池预热、连接池缓存、合理的连接分配等,以提供高并发、低延迟的数据库连接服务;
3、 监控和统计:Druid连接池提供了一套完善的监控和统计功能,可以实时监控连接池的使用情况、性能指标以及SQL执行情况,方便开发人员进行系统调优和性能优化;
4、 安全可靠:Druid连接池通过内置的防火墙和黑名单机制,可以预防恶意攻击和SQL注入等安全威胁,保证系统的安全可靠性;
5、 扩展性强:Druid连接池支持定制化扩展,可以根据具体业务场景和需求进行灵活的配置和编程;

3.连接池配置说明

配置 缺省值 说明
name 配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开。
如果没有配置,将会生成一个名字,格式是:“DataSource-” + System.identityHashCode(this)。
jdbcUrl 连接数据库的url,不同数据库不一样。例如:
mysql:jdbc:mysql://127.0.0.1:3306/mydb
oracle:jdbc:oracle:thin:@127.0.0.1:1521:mydb
username 连接数据库的用户名。
password 连接数据库的密码。如果你不希望密码直接卸载配置文件中,可以使用 ConfigFilter。详细看这里:https://github.com/alibaba/druid/wiki/使用ConfigFilter。
driverClassName 根据url自动识别 选配,如果不配置,druid 会根据 url 自动识别 dbType,然后选择相应的 driverClassName(建议配置下)。
initialSize 0 初始化时建立物理连接的个数。初始化发生在显示调用 init 方法,或者第一次 getConnection 时。
maxActive 8 最大连接池数量。
maxIdle 8 已经不再使用,配置了也没效果。
minIdle 最小连接池数量。
maxWait 获取连接时最大等待时间,单位毫秒。配置了 maxWait 之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置 useUnfairLock 属性为 true 使用非公平锁。
poolPreparedStatements false 是否缓存 preparedStatement,也就是 PSCache。PSCache 对支持游标的数据库性能提升巨大,比如说 oracle,在 mysql 下建议关闭。
maxOpenPreparedSatements -1 要启用 PSCache,必须配置大于0,当大于0时,poolPreparedStatements 自动触发修改为 true。在 Druid 中,不会存在 Oracle 下 PSCache 占用内存过多的问题,可以把这个数值配置大一些,比如说 100。
validationQuery 用来检测连接是否有效的sql,要求是一个查询语句,如果 validationQuery 为 null,testOnBorrow、testOnReturn、testWhileIdle 都不会起作用。
testOnBorrow true 申请连接时执行 validationQuery 检测连接是否有效,做这个配置会降低性能。
testOnReturn false 归还连接时执行 validationQuery 检测连接是否有效,做这个配置会降低性能。
testWhileIdle false 建议配置为 true,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于 timeBetweenEvictionRunsMillis,执行 validationQuery 检测连接是否有效。
timeBetweenEvictionRunsMillis 有两个含义:
1)Destroy 线程会检测连接的间隔时间。2)testWhileIdle的判断依据,详细看 testWhileIdle 属性的说明。
numTestsPerEvictionRun 不再使用,一个 DruidDataSource 只支持一个 EvictionRun。
minEvictableIdleTimeMillis
connectionInitSqls 物理连接初始化的时候执行的sql。
exceptionSorter 根据 dbType 自动识别 当数据抛出一些不可恢复的异常时,抛弃连接。
filters 属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有:
监控统计用的 filter: stat,日志用的 filter: log4j,预防 sql 注入的 filter: wall
proxyFilters 类型是 List<com.alibaba.druid.filter.Filter>,如果同时配置了 filters 和 proxyFilters,是组合关系,并非替换关系。

4.竞品对比

以下是各种数据库连接池对比:

功能类别 功能 Druid HikariCP DBCP Tomcat-jdbc C3P0
性能 PSCache
LRU
SLB负载均衡支持
稳定性 ExceptionSorter
扩展 扩展 Filter JdbcIntercepter
监控 监控方式 jmx/log/http jmx/metrics jmx jmx jmx
支持SQL级监控
Spring/Web关联监控
诊断支持 LogFilter
连接泄露诊断 logAbandoned
安全 SQL防注入
支持配置加密

二、搭建测试项目

源码地址: https://gitee.com/acgkaka/SpringBootExamples/tree/master/springboot-mybatis-plus-druid

1.Maven依赖

Druid 的 Maven 依赖有两种,单独依赖starter依赖,这里由于我们是 SpringBoot 集成,所以使用 starter依赖

单独依赖:

<!-- Druid -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.1.12</version>
</dependency>

starter依赖:

<!-- Druid -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.1.18</version>
</dependency>

2.yaml配置

官方配置示例: https://github.com/alibaba/druid/blob/master/druid-spring-boot-starter/src/test/resources/application.properties

注意: spring.datasource.type 并不一定是必须要填的,取决于使用的是 druid 的哪种依赖。

  • 如果使用的是 Druid 的 单独依赖,则必须要设置 spring.datasource.type=com.alibaba.druid.pool.DruidDataSource,否则默认还是使用 Hikari 连接池。
  • 如果使用的是 Druid 的 starter依赖,则不需要手动设置 type,会自动将数据库连接池切换为 Druid。

而且 druid-spring-boot-starter 不需要编写配置类,简化了配置。

下面是使用 Druid 的 starter依赖 集成后的配置内容:

官方配置文档: https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter

2.1 JDBC配置

方式一:配置在 spring.datasource 下

spring:
  datasource:
    JDBC 配置
    url: jdbc:mysql://localhost:3306/mydb?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
    username: root
    password: root
    driver-class-name: com.mysql.cj.jdbc.Driver

方式二:配置在 spring.datasource.druid 下

spring:
  datasource:
    druid:
      JDBC 配置
      url: jdbc:mysql://localhost:3306/mydb?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
      username: root
      password: root
      driver-class-name: com.mysql.cj.jdbc.Driver

2.2 连接池配置

spring:
  datasource:
    druid:
     连接池配置-开始#####
      initial-size: 5初始化大小
      min-idle: 5最小连接数
      max-active: 20最大连接数
      max-wait: 60000配置获取连接等待超时的时间
      pool-prepared-statements: true是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql5.5以下的版本中没有PSCache功能,建议关闭掉。5.5及以上版本有PSCache,建议开启。
      max-pool-prepared-statement-per-connection-size: 20配置PSCache的大小
      validation-query: SELECT 1 FROM DUAL用来检测连接是否有效的sql,要求是一个查询语句,常用SELECT 1 FROM DUAL
      validation-query-timeout: 3000检测连接是否有效的超时时间,单位是秒。底层调用jdbc Statement对象的void setQueryTimeout(int seconds)方法
      test-on-borrow: false申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能
      test-on-return: false是否在归还到池中前进行检验
      test-while-idle: true是否在连接池空闲一段时间后检验连接有效性
      time-between-eviction-runs-millis: 60000配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒
      min-evictable-idle-time-millis: 300000配置一个连接在池中最小生存的时间,单位是毫秒
      max-evictable-idle-time-millis: 600000配置连接池中连接,在时间段内一直空闲,被逐出连接池的时间,单位毫秒。在minEvictableIdleTimeMillis基础上扩展,会在minEvictableIdleTimeMillis基础上判断连接是否空闲(默认逐出时间就是minEvictableIdleTimeMillis)
     max-open-prepared-statements:和上面的等价
        配置监控统计拦截的filters,去掉后监控界面sql无法统计,'wall'用于防火墙
     filters: stat,wall,log4j
      use-global-data-source-stat: true是否使用统计
      connection-properties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000合并多个DruidDataSource的监控数据
     连接池配置-结束#####

2.3 监控配置

spring:
  datasource:
    druid:
     连接池监控配置-开始#####
      WebStatFilter配置,说明请参考Druid Wiki,配置_配置WebStatFilter
      web-stat-filter:
        enabled: true是否启用StatFilter,默认值false
        url-pattern: '/*'需要拦截的url
        exclusions: '*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*'过滤器忽略的资源
        session-stat-enable: true是否开启session统计功能,默认值false
        session-stat-max-count: 1000session统计最大值
        principal-session-name:session用户信息
        principal-cookie-name:session用户cookie名称
        profile-enable: true监控单个url调用的sql列表
      StatViewServlet配置,说明请参考Druid Wiki,配置_StatViewServlet配置
      stat-view-servlet:
        enabled: true是否启用StatViewServlet(监控页面)默认值为false(考虑到安全问题默认并未启动,如需启用建议设置密码或白名单以保障安全)
        url-pattern: /druid/*监控页面拦截url
        reset-enable: false是否启用重置功能
        login-username: admin监控页面登录用户名
        login-password: admin监控页面登录用户密码
       StatViewSerlvet展示出来的监控信息比较敏感,是系统运行的内部情况,如果你需要做访问控制,可以配置allow和deny这两个参数
       deny优先于allow,如果在deny列表中,就算在allow列表中,也会被拒绝。如果allow没有配置或者为空,则允许所有访问
       配置的格式
       <IP>或者<IP>/<SUB_NET_MASK_size>其中128.242.127.1/24,配置多个英文逗号分隔
       24表示,前面24位是子网掩码,比对的时候,前面24位相同就匹配,不支持IPV6。
        allow:监控页面白名单
        deny:黑名单
      Spring监控配置,说明请参考Druid Github Wiki,配置_Druid和Spring关联监控配置
     aop-patterns: com.demo.*.service.*Spring监控AOP切入点,如x.y.z.service.*,配置多个英文逗号分隔
     连接池监控配置-结束#####

配置内容涉及参考地址:

补充:

  • 如果需要 Spring 监控,除了配置 aop-patterns 之外,还需要引入 spring-boot-starter-aop 依赖,否则 Spring 监控页面会一片空白。

三、测试

1.查看监控页面

监控页面地址: http://localhost:8081/druid/index.html

访问监控页面,输入账号密码,如果页面中的参数和配置的参数一致,则说明集成成功。

 

 

2.单元测试

DemoApplicationTests.java

package com.demo;

import com.alibaba.druid.pool.DruidDataSource;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import javax.sql.DataSource;
import java.sql.Connection;

@SpringBootTest
class DemoApplicationTests {
   
     

    @Autowired
    DataSource dataSource;

    /**
     * 验证数据库连接
     * @throws Exception
     */
    @Test
    void testConnection() throws Exception {
   
     
        // 默认:class com.zaxxer.hikari.HikariDataSource
        // Druid:class com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceWrapper
        System.out.println(dataSource.getClass());
        Connection connection = dataSource.getConnection();
        // 默认:HikariProxyConnection@1323996324 wrapping com.mysql.cj.jdbc.ConnectionImpl@7c281eb8
        // Druid:com.mysql.cj.jdbc.ConnectionImpl@3166f664
        System.out.println(connection);
        connection.close();
    }

    /**
     * 验证连接池的配置信息,是否生效
     * @throws Exception
     */
    @Test
    void contextLoads() throws Exception {
   
     
        System.out.println(dataSource.getClass());
        DruidDataSource druidDataSource = (DruidDataSource) dataSource;
        System.out.println("initSize:" + druidDataSource.getInitialSize());
        System.out.println("maxSize:" + druidDataSource.getMaxActive());
        Connection connection = dataSource.getConnection();
        System.out.println(connection);
        connection.close();
    }

}

连接测试结果:

引入Druid 连接池依赖之前,执行连接测试,结果如下:(默认使用的是 Hikari 连接池)

 

引入Druid 连接池依赖之后,执行连接测试,结果如下:(改为使用的是 Druid 连接池)

 

配置测试结果:

使用Druid 连接池之后,测试结果如下:

 

我们可以看到代码打印的结果与我们的配置一致,说明配置正常生效了。

 

源码地址: https://gitee.com/acgkaka/SpringBootExamples/tree/master/springboot-mybatis-plus-druid

四、补充:

1.如何打印慢SQL?

想要在日志中输出慢SQL日志,首先需要进行如下配置:

spring:
  datasource:
    druid:
      filter:
        stat:
          enabled: true是否启用统计
          slow-sql-millis: 5000慢SQL记录,默认值为3000,单位毫秒
          log-slow-sql: true是否打印慢日志
          merge-sql: true是否合并SQL
          db-type: mysql数据库类型,用于支持统计分析

除此之外,还需要再 filters 属性中加入项目使用的日志框架,如:log4j 或者 slf4j,并引入对应依赖。

logback.xml配置:

<!--druid start-->
<appender name="DruidFile"
          class="ch.qos.logback.core.rolling.RollingFileAppender">
    <File>${LOG_HOME:-d:/}logs/slow_sql/slow_sql.log</File>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <FileNamePattern>${LOG_HOME:-d:/}logs/slow_sql/slow_sql-%d{yyyy-MM-dd}.%i.log
        </FileNamePattern>
        <MaxHistory>60</MaxHistory>
        <TimeBasedFileNamingAndTriggeringPolicy
                class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
            <MaxFileSize>5MB</MaxFileSize>
        </TimeBasedFileNamingAndTriggeringPolicy>
    </rollingPolicy>
    <layout class="ch.qos.logback.classic.PatternLayout">
        <pattern>[%-5level] %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %logger{36} - %msg%n
        </pattern>
    </layout>
    <filter class="ch.qos.logback.classic.filter.LevelFilter"><!-- 只打印错误日志 -->
        <level>ERROR</level>
        <onMatch>ACCEPT</onMatch>
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>
 
<logger name="com.alibaba.druid.filter.stat.StatFilter" additivity="false">
    <!-- 这里可以按需配置日志级别 -->
    <level value="error" />
    <appender-ref ref="DruidFile" />
</logger>
<!--druid end-->

慢SQL日志:

根据logback.xml 配置,会产生慢 SQL 日志 slow_sql.log,内容如下所示:

[ERROR] 2022-08-30 22:44:15.651 [http-nio-8080-exec-1] c.a.druid.filter.stat.StatFilter - slow sql 4698 millis. SELECT  id,name,no,create_time,update_time  FROM user[]
[ERROR] 2022-08-30 22:57:15.183 [http-nio-8080-exec-2] c.a.druid.filter.stat.StatFilter - slow sql 3645 millis. SELECT  id,name,no,create_time,update_time  FROM user[]

2.去除广告

Druid 的监控页面下方有阿里云的广告,可以通过代码去除。

创建DruidAdConfig.java 配置类:

import com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure;
import com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties;
import com.alibaba.druid.util.Utils;
import org.springframework.boot.autoconfigure.AutoConfigureAfter;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.autoconfigure.condition.ConditionalOnWebApplication;
import org.springframework.boot.web.servlet.FilterRegistrationBean;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import javax.servlet.*;
import java.io.IOException;

/**
 * Druid广告配置
 *
 * @author zzp
 */
@Configuration
@ConditionalOnWebApplication
@AutoConfigureAfter(DruidDataSourceAutoConfigure.class)
@ConditionalOnProperty(
        name = "spring.datasource.druid.stat-view-servlet.enabled",
        havingValue = "true",
        matchIfMissing = true)
public class DruidAdConfig {
   
     

    /**
     * 去除监控页面底部广告
     *
     * @param properties
     * @return org.springframework.boot.web.servlet.FilterRegistrationBean
     */
    @Bean
    public FilterRegistrationBean removeDruidAdFilterRegistrationBean(
            DruidStatProperties properties) {
   
     
        // 获取web监控页面的参数
        DruidStatProperties.StatViewServlet config = properties.getStatViewServlet();
        // 提取common.js的配置路径
        String pattern = config.getUrlPattern() != null ? config.getUrlPattern() : "/druid/*";
        String commonJsPattern = pattern.replaceAll("\\*", "js/common.js");

        final String filePath = "support/http/resources/js/common.js";

        // 创建filter进行过滤
        Filter filter =
                new Filter() {
   
     
                    @Override
                    public void init(FilterConfig filterConfig) throws ServletException {
   
     }

                    @Override
                    public void doFilter(
                            ServletRequest request, ServletResponse response, FilterChain chain)
                            throws IOException, ServletException {
   
     
                        chain.doFilter(request, response);
                        // 重置缓冲区,响应头不会被重置
                        response.resetBuffer();
                        // 获取common.js
                        String text = Utils.readFromResource(filePath);
                        // 正则替换banner, 除去底部的广告信息
                        text = text.replaceAll("<a.*?banner\"></a><br/>", "");
                        text = text.replaceAll("powered.*?shrek.wang</a>", "");
                        response.getWriter().write(text);
                    }

                    @Override
                    public void destroy() {
   
     }
                };
        FilterRegistrationBean registrationBean = new FilterRegistrationBean();
        registrationBean.setFilter(filter);
        registrationBean.addUrlPatterns(commonJsPattern);
        return registrationBean;
    }
}

3.如何手动获取监控内容

官方说明: https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter

  • Druid 的监控数据可以在开启 StatFilter 后通过 DruidStatManagerFacade 进行获取。
  • 获取到监控数据之后你可以将其暴露给你的监控系统进行使用。Druid 默认的监控系统数据也来源于此。

下面做一个简单的演示,在 SpringBoot 中国你如何通过 HTTP 接口将 Druid 监控数据以 JSON 的形式暴露出去,实际使用中你可以根据你的需要自动地对监控数据、暴露方式进行扩展。

import com.alibaba.druid.stat.DruidStatManagerFacade;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class DruidStatController {
   
     
    
    @GetMapping("/druidStat")
    public Object druidStat(){
   
     
        // DruidStatManagerFacade#getDataSourceStatDataList 该方法可以获取所有数据源的监控数据,
        // 除此之外 DruidStatManagerFacade 还提供了一些其他方法,你可以按需选择使用。
        return DruidStatManagerFacade.getInstance().getDataSourceStatDataList();
    }
}

返回结果如下:

 

详细内容如下:

[
  {
   
     
    "Identity": 2122837918,
    "Name": "DataSource-2122837918",
    "DbType": "mysql",
    "DriverClassName": "com.mysql.cj.jdbc.Driver",
    "URL": "jdbc:mysql://localhost:3306/mydb?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai",
    "UserName": "root",
    "FilterClassNames": [
      "com.alibaba.druid.filter.stat.StatFilter"
    ],
    "WaitThreadCount": 0,
    "NotEmptyWaitCount": 0,
    "NotEmptyWaitMillis": 0,
    "PoolingCount": 5,
    "PoolingPeak": 5,
    "PoolingPeakTime": "2023-07-08T16:29:24.569+0000",
    "ActiveCount": 0,
    "ActivePeak": 0,
    "ActivePeakTime": null,
    "InitialSize": 5,
    "MinIdle": 5,
    "MaxActive": 20,
    "QueryTimeout": 0,
    "TransactionQueryTimeout": 0,
    "LoginTimeout": 0,
    "ValidConnectionCheckerClassName": "com.alibaba.druid.pool.vendor.MySqlValidConnectionChecker",
    "ExceptionSorterClassName": "com.alibaba.druid.pool.vendor.MySqlExceptionSorter",
    "TestOnBorrow": false,
    "TestOnReturn": false,
    "TestWhileIdle": true,
    "DefaultAutoCommit": true,
    "DefaultReadOnly": null,
    "DefaultTransactionIsolation": null,
    "LogicConnectCount": 0,
    "LogicCloseCount": 0,
    "LogicConnectErrorCount": 0,
    "PhysicalConnectCount": 5,
    "PhysicalCloseCount": 0,
    "PhysicalConnectErrorCount": 0,
    "DiscardCount": 0,
    "ExecuteCount": 0,
    "ExecuteUpdateCount": 0,
    "ExecuteQueryCount": 0,
    "ExecuteBatchCount": 0,
    "ErrorCount": 0,
    "CommitCount": 0,
    "RollbackCount": 0,
    "PSCacheAccessCount": 0,
    "PSCacheHitCount": 0,
    "PSCacheMissCount": 0,
    "StartTransactionCount": 0,
    "TransactionHistogram": [
      0,
      0,
      0,
      0,
      0,
      0,
      0
    ],
    "ConnectionHoldTimeHistogram": [
      0,
      0,
      0,
      0,
      0,
      0,
      0,
      0
    ],
    "RemoveAbandoned": false,
    "ClobOpenCount": 0,
    "BlobOpenCount": 0,
    "KeepAliveCheckCount": 0,
    "KeepAlive": false,
    "FailFast": false,
    "MaxWait": 60000,
    "MaxWaitThreadCount": -1,
    "PoolPreparedStatements": true,
    "MaxPoolPreparedStatementPerConnectionSize": 20,
    "MinEvictableIdleTimeMillis": 300000,
    "MaxEvictableIdleTimeMillis": 600000,
    "LogDifferentThread": true,
    "RecycleErrorCount": 0,
    "PreparedStatementOpenCount": 0,
    "PreparedStatementClosedCount": 0,
    "UseUnfairLock": false,
    "InitGlobalVariants": false,
    "InitVariants": false
  }
]

整理完毕,完结撒花~ 🌻

参考地址:

1、 Springboot整合druid,https://blog.csdn.net/qq_51133939/article/details/126248389;

2、 SpringBoot配置Druid,https://blog.csdn.net/promsing/article/details/126446143;

3、 Springboot集成Druid,https://blog.csdn.net/qq_34285557/article/details/125945877;

4、 druid慢sql监控,https://blog.csdn.net/xixingzhe2/article/details/126614581;