前沿趋势｜面向结构化知识的预训练语言大模型

转载公众号 | 浙大KG

作者：张文、朱渝珊、陈名杨、陈华钧

1. 引言

知识是人类社会发展沉淀下来的精华，其表示形式多种多样，知识可以被表示于文本、图片、视频、音频等众多形态中，随着这两年预训练语言模型以及大语言模型的成功，大语言模型的知识表示和推理能力被广泛关注和讨论，其中被讨论较多的是以语言（即文本序列）形式表示的知识，也就是我们常说的非结构化知识，近期，结构化知识如代码、表格、图等在大语言模型中的处理与应用逐渐受到关注和讨论，本文将探讨面向结构化知识的预训练语言大模型前沿趋势，主要尝试探索以下两个问题：

1）对比其他形式的知识如文本序列等，结构化知识的核心特色是什么？结构化知识应该如何被有效地学习？

2）目前广受关注的大语言模型作为基于序列数据训练而得的模型，在利用结构化知识方面表现如何？

本文将以知识图谱为例，对这两个问题展开讨论。针对第一个问题，本文将以我们在WWW2023上发表的论文KGTransformer为例进行介绍，说明结构知识的核心特色在于广泛存在于结构表示中的可迁移的模式。针对第二个问题，本文将介绍我们用GPT-3.5对知识图谱数据进行推理的初步验证，说明大语言模型在结构数据学习方面尚有欠缺。

2. KGTransformer-知识结构预训练与提示调优（WWW2023）

2.1 动机

知识图谱(KG)以(头实体、关系、尾实体)的形式将事实表示为三元组，简称(h,r,t)，这是一个用于存储世界上常见知识，例如(地球、位置、内太阳系)，的存储方式。近年来，已经构建了Wididata、YAGO和NELL等多个大规模知识图谱，并将其作为背景知识提供者应用于机器学习任务中，如问答、图像分类、视觉推理等。

在为与知识图谱相关的任务设计模型时，关键任务之一是设计知识表示与融合(KRF)模块，该模块从知识图谱中学习元素的表示，并将其与任务表示融合。如图1所示，知识图谱补全模型RotatE通过对复数空间中的实体和关系进行嵌入学习来表示KGs中的知识，并通过得分函数计算三元组的真值。零样本图像分类模型GCNZ使用图卷积网络和ResNet分别学习知识图谱和图像的表示，并通过对齐分类器在知识图谱表示和图像表示上的结果来融合它们。基于知识的问答模型QA-GNN首先对query-kg图进行编码，并将表示与查询表示融合以进行预测。由于需要考虑的知识图谱和视角的不同，在知识图谱相关的任务模型中，KRF模块也存在差异，这给临时的KRF模块设计留下了重复的工作。

为了解决这个问题，预训练的KG模型被提出来学习实体和关系的通用嵌入表示，可以应用于许多任务。这些嵌入被认为包含实体相似性、层次结构和关系等信息，可用于推荐系统、实体对齐、问答等任务，有助于隐式访问知识图谱中的知识。然而，这种方式面临两个挑战：(1)第一个挑战是，如果任务知识图谱与预训练知识图谱包含不同的实体和关系，则基于嵌入的方法由于嵌入缺失而无法将有价值的信息传递给下游任务模型。(2)第二个挑战是知识图谱和任务数据之间缺少基本的交互和融合，使得融合模块的设计成为下游任务模型设计的一部分。因此，基于嵌入的知识图谱模型并不是KRF模块跨知识图谱相关任务的理想解决方案。

KGTransformer通过对KG结构进行预训练，并将与特定实体和关系无关的参数转换到下游任务来解决第一个挑战。本文通过提示调优机制解决第二个挑战，以实现KGs和任务数据之间的统一和灵活融合。

2.2 方法

KGTransformer由多个KGTransformer层组成。该模型以采样的子图的三元组序列作为输入。在KGTransformer层中，根据三元组元素之间的邻接矩阵，允许序列中不同元素进行有限的交互，即具有相同元素（实体或关系）的三元组，在Transformer结构中是可见的。在训练阶段，本文提出一种具有三个自监督任务的子图预训练方法，即掩码实体建模、掩码关系建模和实体对建模。

在下游任务阶段，KGTransformer层中的参数