当前位置:   article > 正文

深度学习 GNN图神经网络(三)模型思想及文献分类案例实战_gnn实战

gnn实战

如果你有一定神经网络的知识基础,想学习GNN图神经网络,可以按顺序参考系列文章:
深度学习 GNN图神经网络(一)图的基本知识
深度学习 GNN图神经网络(二)PyTorch Geometric(PyG)安装
深度学习 GNN图神经网络(三)模型原理及文献分类案例实战

一、前言

本文介绍GNN图神经网络的思想原理,然后使用Cora数据集对其中的2708篇文献进行分类。用普通的神经网络与GNN图神经网络分别实现,并对比两者之间的效果。

二、总体思想

GNN的作用就是对节点进行特征提取,可以看下这个几分钟的视频《简单粗暴带你快速理解GNN》。
比如说这里有一张图,包含5个节点,每个节点有三个特征值:
在这里插入图片描述
节点A的特征值 x a = [ 1 , 1 , 1 ] x_a=[1,1,1] xa=[1,1,1],节点B的特征值 x b = [ 2 , 2 , 2 ] x_b=[2,2,2] xb=[2,2,2]

我们依次对所有节点的特征值进行更新:
新的信息=自身的信息 + 所有邻居点的信息
所有邻居点信息的表达有几种:

  • 求和Sum
  • 求平均Mean
  • 求最大Max
  • 求最小Min

我们以求和为例:
x ^ a = σ ( w a x a + w b x b + w c x c ) \hat{x}_a=\sigma(w_ax_a+w_bx_b+w_cx_c) x^a=σ(waxa+wbxb+wcxc)
x ^ b = σ ( w b x b + w a x a ) \hat{x}_b=\sigma(w_bx_b+w_ax_a) x^b=σ(wbxb+waxa)
x ^ c = σ ( w c x c + w a x a + w d x d ) \hat{x}_c=\sigma(w_cx_c+w_ax_a+w_dx_d) x^c=σ(wcxc+waxa+wdxd)
x ^ d = σ ( w d x d + w a x a + w c x c ) \hat{x}_d=\sigma(w_dx_d+w_ax_a+w_cx_c) x^d=σ(wdxd+waxa+wcxc)
x ^ e = σ ( w e x e + w d x d ) \hat{x}_e=\sigma(w_ex_e+w_dx_d) x^e=σ(wexe+wdxd)
其中, w w w是各自节点的权重参数, σ \sigma σ是激活函数。

求所有邻居点信息并更新特征值的操作叫做消息传递、信息聚合或图卷积(跟CNN卷积神经网络中的卷积是两回事)。

我们再以简单的求平均为例(忽略权重),得到特征平均值后,将其传入神经网络,输出两个值,这时节点的特征值个数就变成了两个。这整个结构叫做图卷积网络(GCN)。

当然设计几层GCN或者输出值个数,我们都是可以自定义的。
在这里插入图片描述

在经历第一次更新操作后:
A中有B、C、D的信息;
B中有A的信息;
C中有A、D的信息;
D中有A、C、E的信息;
E中有D的信息;

在经历第二次更新操作后:
A中有B、C、D、E的信息;
⋮ \vdots
E中有A、C、D、E的信息;

如此循环,节点逐渐包含更多其他节点的信息,只是权重不同。

PS:过年了,这段写得有点仓促,如有错误恳请纠正。作者也会在这留下TODO,后续参考更多的资料进行校正。祝兔年快乐~ 声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】

推荐阅读
相关标签