Spring-Boot 多数据源配置+动态数据源切换+多数据源事物配置实现主从数据库存储分离_dynamicdatasourcecontextholder 连接超时时间

一、基础介绍

　　多数据源字面意思，比如说二个数据库，甚至不同类型的数据库。在用SpringBoot开发项目时，随着业务量的扩大，我们通常会进行数据库拆分或是引入其他数据库，从而我们需要配置多个数据源。

二、项目目录截图

 

 三、多数据源SQL结构设计如下（简单的主从关系）：

 

 PS：创建两个库用于搭建项目中主从使用不同的数据库，表可以随意定义。

 四、配置编码

1.数据源自定义注解，DataSource.java

​
/**
 * 数据源自定义注解
 */
 
@Target({ ElementType.METHOD, ElementType.TYPE })
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface DataSource {
　　　　
    DataSourcesType name() default DataSourcesType.MASTER;
 
}
 
​

 

2.数据源类型枚举类定义，DataSourcesType.java 

/**
 * 数据源类型
 */
public enum  DataSourcesType {
    /**
     * 主库
     */
    MASTER,
 
    /**
     * 从库
     */
    SLAVE
 
}

 3.多数据源application.yml配置文件配置

# 数据源配置
spring:
    datasource:
      type: com.alibaba.druid.pool.DruidDataSource
      driverClassName: com.mysql.cj.jdbc.Driver
      druid:
          master:
              url: jdbc:mysql://127.0.0.1:3306/master?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
              username: root
              password: 123456
          slave:
              enable: true
              url: jdbc:mysql://127.0.0.1:3306/slave?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
              username: root
              password: 123456
          # 初始连接数
          initialSize: 5
          # 最小连接池数量
          minIdle: 10
          # 最大连接池数量
          maxActive: 20
          # 配置获取连接等待超时的时间
          maxWait: 60000
          # 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒
          timeBetweenEvictionRunsMillis: 60000
          # 配置一个连接在池中最小生存的时间，单位是毫秒
          minEvictableIdleTimeMillis: 300000
          # 配置一个连接在池中最大生存的时间，单位是毫秒
          maxEvictableIdleTimeMillis: 900000
          validationQuery: SELECT 1 FROM DUAL
          testWhileIdle: true
          testOnBorrow: false
          testOnReturn: false
          # 打开PSCache，并且指定每个连接上PSCache的大小
          poolPreparedStatements: true
          maxPoolPreparedStatementPerConnectionSize: 20
          # 配置监控统计拦截的filters，去掉后监控界面sql无法统计，'wall'用于防火墙，此处是filter修改的地方
          filters:
            commons-log.connection-logger-name: stat,wall,log4j
          # 通过connectProperties属性来打开mergeSql功能；慢SQL记录
          connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
          # 合并多个DruidDataSource的监控数据
          useGlobalDataSourceStat: true
          # 配置 DruidStatFilter
          web-stat-filter:
            enabled: true
            url-pattern: /*
            exclusions: .js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*
          stat-view-servlet:
            enabled: true
            url-pattern: /druid/*
            # IP 白名单，没有配置或者为空，则允许所有访问
            allow: 127.0.0.1
            # IP 黑名单，若白名单也存在，则优先使用
            deny: 192.168.31.253
            # 禁用 HTML 中 Reset All 按钮
            reset-enable: false
            # 登录用户名/密码
            login-username: root
            login-password: 123
            # 慢SQL记录
          filter:
              stat:
                enabled: true
                # 慢SQL记录
                log-slow-sql: true
                slow-sql-millis: 1000
                merge-sql: true
              wall:
                config:
                  multi-statement-allow: true

4.数据源配置文件属性定义，DataSourceProperties.java

/**
 * 数据源配置文件
 */
@Setter
@Configuration
@ConfigurationProperties(prefix = "spring.datasource.druid")
public class DataSourceProperties {
 
    private int initialSize;
 
    private int minIdle;
 
    private int maxActive;
 
    private int maxWait;
 
    private int timeBetweenEvictionRunsMillis;
 
    private int minEvictableIdleTimeMillis;
 
    private int maxEvictableIdleTimeMillis;
 
    private String validationQuery;
 
    private boolean testWhileIdle;
 
    private boolean testOnBorrow;
 
    private boolean testOnReturn;
 
    public DruidDataSource setDataSource(DruidDataSource datasource) {
 
        datasource.setInitialSize(initialSize);
        /** 配置初始化大小、最小、最大 */
        datasource.setInitialSize(initialSize);
        datasource.setMaxActive(maxActive);
        datasource.setMinIdle(minIdle);
        /** 配置获取连接等待超时的时间 */
        datasource.setMaxWait(maxWait);
        /** 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 */
        datasource.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis);
        /** 配置一个连接在池中最小、最大生存的时间，单位是毫秒 */
        datasource.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis);
        datasource.setMaxEvictableIdleTimeMillis(maxEvictableIdleTimeMillis);
        /**
         * 用来检测连接是否有效的sql，要求是一个查询语句，常用select 'x'。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会起作用。
         */
        datasource.setValidationQuery(validationQuery);
        /** 建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。 */
        datasource.setTestWhileIdle(testWhileIdle);
        /** 申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。 */
        datasource.setTestOnBorrow(testOnBorrow);
        /** 归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。 */
        datasource.setTestOnReturn(testOnReturn);
        return datasource;
    }

5.多数据源切换处理，DynamicDataSourceContextHolder.java

/**
 * 数据源切换处理
 */
public class DynamicDataSourceContextHolder {
 
    public static final Logger log = LoggerFactory.getLogger(DynamicDataSourceContextHolder.class);
 
    /**
     *此类提供线程局部变量。这些变量不同于它们的正常对应关系是每个线程访问一个线程(通过get、set方法),有自己的独立初始化变量的副本。
     */
    private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();
 
    /**
     * 设置当前线程的数据源变量
     */
    public static void setDataSourceType(String dataSourceType) {
        log.info("已切换到{}数据源", dataSourceType);
        contextHolder.set(dataSourceType);
    }
 
    /**
     * 获取当前线程的数据源变量
     */
    public static String getDataSourceType() {
        return contextHolder.get();
    }
 
    /**
     * 删除与当前线程绑定的数据源变量
     */
    public static void removeDataSourceType() {
        contextHolder.remove();
    }
 
 
}

 6.获取数据源（依赖于 spring） 定义一个类继承AbstractRoutingDataSource实现determineCurrentLookupKey方法，该方法可以实现数据库的动态切换，DynamicDataSource.java 

/**
 * 获取数据源（依赖于 spring）  定义一个类继承AbstractRoutingDataSource实现determineCurrentLookupKey方法，该方法可以实现数据库的动态切换
 */
public class DynamicDataSource extends AbstractRoutingDataSource {
 
    public static  DynamicDataSource build() {
        return new DynamicDataSource();
    }
 
    /**
     * 获取与数据源相关的key
     * 此key是Map<String,DataSource> resolvedDataSources 中与数据源绑定的key值
     * 在通过determineTargetDataSource获取目标数据源时使用
     */
    @Override
    protected Object determineCurrentLookupKey() {
        return DynamicDataSourceContextHolder.getDataSourceType();
    }
 
}

7.数据源核心配置类，DataSourceConfiguration.java 

/**
 * 数据源配置类
 */
@Configuration
public class DataSourceConfiguration {
 
    /**
     * 主库
     */
    @Bean
    @ConfigurationProperties("spring.datasource.druid.master")
    public DataSource masterDataSource(DataSourceProperties dataSourceProperties) {
        return dataSourceProperties.setDataSource(DruidDataSourceBuilder.create().build());
    }
 
 
    /**
     * 从库
     */
    @Bean
    @ConditionalOnProperty( prefix = "spring.datasource.druid.slave", name = "enable", havingValue = "true")//是否开启数据源开关---若不开启 默认适用默认数据源
    @ConfigurationProperties("spring.datasource.druid.slave")
    public DataSource slaveDataSource(DataSourceProperties dataSourceProperties) {
        return dataSourceProperties.setDataSource(DruidDataSourceBuilder.create().build());
    }
 
    /**
     * 设置数据源
     */
    @Bean(name = "dynamicDataSource")
    @Primary
    public DynamicDataSource dynamicDataSource(DataSource masterDataSource, DataSource slaveDataSource) {
        Map<Object, Object> targetDataSources = new HashMap<>();
        DynamicDataSource dynamicDataSource = DynamicDataSource.build();
        targetDataSources.put(DataSourcesType.MASTER.name(), masterDataSource);
        targetDataSources.put(DataSourcesType.SLAVE.name(), slaveDataSource);
        //默认数据源配置 DefaultTargetDataSource
        dynamicDataSource.setDefaultTargetDataSource(masterDataSource);
        //额外数据源配置 TargetDataSources
        dynamicDataSource.setTargetDataSources(targetDataSources);
        dynamicDataSource.afterPropertiesSet();
        return dynamicDataSource;
    }
 
}

8.多数据源切面配置类，用于获取注解上的注解，进行动态切换数据源，DynamicDataSourceAspect.java

@Aspect
@Component
@Order(-1) // 保证该AOP在@Transactional之前执行
public class DynamicDataSourceAspect {
 
    protected Logger logger = LoggerFactory.getLogger(getClass());
 
 
    @Pointcut("@annotation(com.fuzongle.tankboot.common.annotation.DataSource)"
            + "|| @within(com.fuzongle.tankboot.common.annotation.DataSource)")
    public void dsPointCut()  {
    }
 
    @Around("dsPointCut()")
    public Object around(ProceedingJoinPoint point) throws Throwable {
        Method targetMethod = this.getTargetMethod(point);
        DataSource dataSource = targetMethod.getAnnotation(DataSource.class);//获取要切换的数据源
        if (dataSource != null)  {
            DynamicDataSourceContextHolder.setDataSourceType(dataSource.name().name());
        }
        try {
            return point.proceed();
        }
        finally  {
            // 销毁数据源 在执行方法之后
            DynamicDataSourceContextHolder.removeDataSourceType();
        }
    }
 
    /**
     * 获取目标方法
     */
    private Method getTargetMethod(ProceedingJoinPoint pjp) throws NoSuchMethodException {
        Signature signature = pjp.getSignature();
        MethodSignature methodSignature = (MethodSignature) signature;
        Method agentMethod = methodSignature.getMethod();
        return pjp.getTarget().getClass().getMethod(agentMethod.getName(), agentMethod.getParameterTypes());
    }
}

9.编写业务逻辑，切换从库查询数据。

 

 

 10.编写测试方法，调用查询业务，查看是否切换数据源是否生效。

PS：这种多数据源的动态切换确实可以解决数据的主从分库操作，但是却有一个致命的BUG，那就是事务不但失效而且无法实现

一致性，因为涉及到跨库，因此我们必须另想办法来实现事务的ACID原则

以上配置所有源码地址：

https://gitee.com/fuzongle/java-bucket

注意：

1.如果有任何不懂的地方可以关注公众号就可以加我微信，随时欢迎互相帮助。

2.技术交流群QQ：422167709。

3.如果希望学习更多，希望微信扫码，长按扫码，帮忙关注一下，举手之劳，当您无助的时候真的能帮你。非常感谢您关注公众号 "编程小乐"。