Paimon 与 Spark 的集成（一）

Paimon

Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 ApacheFlink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。

Paimon x Spark

Apache Spark，作为大数据处理的统一计算分析引擎的，不仅支持多种语言的高级 API 使用，也支持了丰富的大数据场景应用，包括结构化数据处理的Spark SQL、用于机器学习的 MLlib，用于图形处理的 GraphX，以及用于增量计算和流处理的Structured Streaming。Spark 已经成为了大数据领域软件栈中必不可少的组成部分。作为数据湖领域新起的 Paimon，与 Spark 的深度、全面的集成也将为 Paimon在准实时场景、离线湖仓场景提供了便利。

接下来我们介绍一些在 Paimon 新版本中基于 Spark 计算引擎支持的主要功能。

Schema Evolution

Schema evolution 是一个数据湖领域一个非常关键的特性，它允许用户方便的修改表的当前 Schema 以适应现有数据，或随时间变化的新数据，同时保持数据的完整性和一致性。

在离线场景中，我们可以通过计算引擎，如 Spark 或者 Flink，提供的 Alter Table 的 SQL 语法来实现对 Schema 的操作。在某些场景下，我们并非都能实时准确的获取上游数据较当前表的 Schema 变化；另外在 Streaming 流式场景中以离线 Alter Table 的方式完成 Schema 的更新需要执行1）停止流作业，2）完成 Schema 更新操作，3）重启流作业这样的流程，这是较为低效的。

Paimon 支持了在数据写入的同时，自动完成 Source 数据和当前表数据的 Schema 合并，并将合并后的 Schema 作为表的最新 Schema，仅需要配置参数  write.merge-schema。

data.write
.format("paimon")
.mode("append")
.option("write.merge-schema", "true")
.save(location)

新增列

比较常见的是，在执行数据追加或覆盖操作时使用，以自动调整 Schema 以包含一个或多个新列。

假设原表的 Schema 为：

a INT
b STRING

新数据 data 的 Schema 为：

a INT
b STRING
c LONG
d Map<String, Double>

操作完成后的表的 Schema 变更为：

a INT
b STRING
c LONG
d Map<String, Double>

提升字段类型

Paimon 的 Schema Evolution 也同时支持数据类型的提升，如 Int 提升为 Long，Long提升为 Decimal 等；以上述表继续写入数据，假设新数据的 Schema 为：

a Long
b STRING
c Decimal
d Map<String, Double>

操作完成后的表的 Schema 变更为：

a Long
b STRING
c Decimal
d Map<String, Double>

强制类型转换

如以上示例所示，Paimon 支持数据字段类型的提升，如数值型向更高的精度提升（由 Int 提升至 Long，由 Long 提升至 Decimal），同时 Paimon 也支持一些类型之间的强制转换，如 String 强转成 Date 类型或者 Long 转换成 Int，但需要显式的配置参数 write.merge-schema.explicit-cast。

data.write
.format("paimon")
.mode("append")
.option("write.merge-schema", "true")
.option("write.merge-schema.explicit-cast", "true")
.save(location)

假设原表的 Schema为：

a LONG
b STRING //内容为2023-08-01的格式