SpringBoot集成flyway

简介

Flyway 是一款开源的数据库版本管理工具，它更倾向于规约优于配置的方式。Flyway 可以独立于应用实现管理并跟踪数据库变更，支持数据库版本自动升级，并且有一套默认的规约，不需要复杂的配置，Migrations 可以写成 SQL 脚本，也可以写在 Java 代码中，不仅支持 Command Line 和 Java API，还支持 Build 构建工具和 Spring Boot 等，同时在分布式环境下能够安全可靠地升级数据库，同时也支持失败恢复等。

官网首页：Homepage - Flyway (flywaydb.org)

为什么要使用Flyway？

真实项目开发中，会遇到如下各种情况：

• 一个系统有多套环境，更新表的SQL可能会遗漏某一个环境。
• 每次部署一个新环境，就得把所有库表的创建SQL手动执行一遍。希望服务启动，就创建自己需要的库表。
• 每次发版要记录数据库变更信息，或者单独给出数据库升级脚本。
• 别人需求新增了SQL你不知道，系统一跑出来个数据库报错又得问人或者排错。
• …

Flyway工作原理

当 Flyway 连接数据库中的 schema 后，会先检查是否已存在 flyway_schema_history 表，如果没有则创建。该表用于跟踪数据库的状态，如数据迁移的版本，迁移成功状态等信息。

当 flyway_schema_history 存在后，Flyway 会扫描文件系统或应用中的 classpath 目录的数据迁移文件，然后根据它们的版本号进行按序迁移，如下图：

由于 flyway_schema_history 表中记录了迁移的版本号，如果文件的版本号小于或等于标记为当前版本的版本号，则忽略它们不执行。

SpringBoot整合flyway

添加依赖

注意和springboot之间的版本适配问题，flyway版本不建议太高

<dependency>
    <groupId>org.flywaydb</groupId>
    <artifactId>flyway-core</artifactId>
    <version>7.15.0</version>
</dependency>
1
2
3
4
5

添加配置

# flyway 配置
spring:
  flyway:
    # 启用或禁用 flyway
    enabled: true
    # flyway 的 clean 命令会删除指定 schema 下的所有 table, 生产务必禁掉。这个默认值是 false 理论上作为默认配置是不科学的。
    clean-disabled: true
    # SQL 脚本的目录,多个路径使用逗号分隔 默认值 classpath:db/migration
    locations: classpath:db/migration
    #  metadata 版本控制信息表 默认 flyway_schema_history
    table: flyway_schema_history
    # 如果没有 flyway_schema_history 这个 metadata 表， 在执行 flyway migrate 命令之前, 必须先执行 flyway baseline 命令
    # 设置为 true 后 flyway 将在需要 baseline 的时候, 自动执行一次 baseline。
    baseline-on-migrate: true
    # 指定 baseline 的版本号,默认值为 1, 低于该版本号的 SQL 文件, migrate 时会被忽略
    baseline-version: 1
    # 字符编码 默认 UTF-8
    encoding: UTF-8
    # 是否允许不按顺序迁移 开发建议 true  生产建议 false
    out-of-order: false
    # 需要 flyway 管控的 schema list,这里我们配置为flyway  缺省的话, 使用spring.datasource.url 配置的那个 schema,
    # 可以指定多个schema, 但仅会在第一个schema下建立 metadata 表, 也仅在第一个schema应用migration sql 脚本.
    # 但flyway Clean 命令会依次在这些schema下都执行一遍. 所以 确保生产 spring.flyway.clean-disabled 为 true
    schemas: flyway
    # 执行迁移时是否自动调用验证   当你的 版本不符合逻辑 比如 你先执行了 DML 而没有 对应的DDL 会抛出异常
    validate-on-migrate: true
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

注意clean-disabled

• 表示是否要清除已有库下的表。
• 即执行脚本V1__xxx.sql，会先清除已有库下的表！！然后再执行脚本。
• 设置为true，即确定关掉clean功能。

添加数据库脚本

• resource/db/migration下添加数据库脚本

• 注意SQL的命名规范有要求：
  • V是前缀 表示这个文件只会被执行一次。
  • 1.0为版本号 ，高版本的执行后不会再执行低版本的SQL。如1.1先执行了，1.0就不会被执行了。
  • __ ： 两个下划线表示分隔符。
  • init_db_accident：脚本功能表述
  • .sql：后缀
• 需要执行多次的，以大写"R"开头，命名如：R__insertInfo.sql ，R的脚本只要改变了就会执行，R不带版本号。

初始化数据库配置

DataSourceConfig配置文件，初次启动项目后，自动创建数据库以及相关表。

@Configuration
@Primary
public class DataSourceConfig {

    private final Logger log = LoggerFactory.getLogger(DataSourceConfig.class);

    @Value("${spring.datasource.url}")
    private String datasourceUrl;

    @Value("${spring.datasource.username}")
    private String username;

    @Value("${spring.datasource.password}")
    private String password;

    @Bean
    public void mysqlDataSource() {
        try {
            String[] str = datasourceUrl.split("\\?");
            String[] split = str[0].split("/");
            String serverUrl = split[2].split(":")[0];
            String port = split[2].split(":")[1];

            String newConnection = "jdbc:mysql://" + serverUrl + ":" + port + "/?" + str[1];
            String datasourceName = str[0].substring(str[0].lastIndexOf("/") + 1);

            try (Connection conn = DriverManager.getConnection(newConnection, username, password)) {
                DatabaseMetaData metaData = conn.getMetaData();
                ResultSet resultSet = metaData.getCatalogs();
                boolean databaseExists = false;
                while (resultSet.next()) {
                    if (datasourceName.equalsIgnoreCase(resultSet.getString("TABLE_CAT"))) {
                        log.info("Database already exists.");
                        databaseExists = true;
                        break;
                    }
                }

                if (!databaseExists) {
                    try (Statement statement = conn.createStatement()) {
                        String createQuery = "CREATE DATABASE `" + datasourceName + "` default character set utf8 COLLATE utf8_general_ci";
                        statement.executeUpdate(createQuery);
                    }
                    log.info("Database created successfully.");
                }
            }

        } catch (Exception e) {
            log.info("Failed to connect to the database server...");
            e.printStackTrace();
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

工作流程

• 项目启动，成功连接到数据库，flyway开始运行。
• 第一次使用，flyway会创建flyway_schema_history表，用于记录SQL的执行记录。
• flyway扫描classpath:db/migration路径下的所有SQL脚本，并与flyway_schema_history表的记录对比。
  • 若表里没记录，即新SQL，执行并将信息写入history表；
  • R开头的文件只要发生修改，都会执行一遍；
  • V开头的文件，如果上次执行过后又发生了修改，则服务启动报错；
  • 想让V开头的已经执行过的文件再执行一次，就得清除history表中的数据后再启动服务；
• 根据表中的sql记录最大版本号，忽略版本号不高于它的SQL脚本。
• 如下图，初次启动项目后，自动生成数据库以及相关表：

总结

Flyway是一个开源的数据库迁移工具，它可以帮助开发团队轻松管理数据库的变更和版本控制。

使用Flyway，你可以将数据库的变更（如创建表、添加列、修改数据等）作为一系列迁移脚本进行管理。每个迁移脚本都有一个唯一的版本号，Flyway会按照版本号的顺序依次执行这些脚本，从而将数据库迁移到所需的状态。

源码地址：springboot集成flyway