赞
踩
如果你有一定神经网络的知识基础,想学习GNN图神经网络,可以按顺序参考系列文章:
深度学习 GNN图神经网络(一)图的基本知识
深度学习 GNN图神经网络(二)PyTorch Geometric(PyG)安装
深度学习 GNN图神经网络(三)模型原理及文献分类案例实战
本文介绍GNN图神经网络的思想原理,然后使用Cora
数据集对其中的2708篇文献进行分类。用普通的神经网络与GNN图神经网络分别实现,并对比两者之间的效果。
GNN的作用就是对节点进行特征提取
,可以看下这个几分钟的视频《简单粗暴带你快速理解GNN》。
比如说这里有一张图,包含5个节点,每个节点有三个特征值:
节点A的特征值
x
a
=
[
1
,
1
,
1
]
x_a=[1,1,1]
xa=[1,1,1],节点B的特征值
x
b
=
[
2
,
2
,
2
]
x_b=[2,2,2]
xb=[2,2,2] …
我们依次对所有节点的特征值进行更新:
新的信息=自身的信息 + 所有邻居点的信息
所有邻居点信息的表达有几种:
我们以求和为例:
x
^
a
=
σ
(
w
a
x
a
+
w
b
x
b
+
w
c
x
c
)
\hat{x}_a=\sigma(w_ax_a+w_bx_b+w_cx_c)
x^a=σ(waxa+wbxb+wcxc)
x
^
b
=
σ
(
w
b
x
b
+
w
a
x
a
)
\hat{x}_b=\sigma(w_bx_b+w_ax_a)
x^b=σ(wbxb+waxa)
x
^
c
=
σ
(
w
c
x
c
+
w
a
x
a
+
w
d
x
d
)
\hat{x}_c=\sigma(w_cx_c+w_ax_a+w_dx_d)
x^c=σ(wcxc+waxa+wdxd)
x
^
d
=
σ
(
w
d
x
d
+
w
a
x
a
+
w
c
x
c
)
\hat{x}_d=\sigma(w_dx_d+w_ax_a+w_cx_c)
x^d=σ(wdxd+waxa+wcxc)
x
^
e
=
σ
(
w
e
x
e
+
w
d
x
d
)
\hat{x}_e=\sigma(w_ex_e+w_dx_d)
x^e=σ(wexe+wdxd)
其中,
w
w
w是各自节点的权重参数,
σ
\sigma
σ是激活函数。
求所有邻居点信息并更新特征值的操作叫做消息传递
、信息聚合或图卷积(跟CNN卷积神经网络中的卷积是两回事)。
我们再以简单的求平均为例(忽略权重),得到特征平均值后,将其传入神经网络,输出两个值,这时节点的特征值个数就变成了两个。这整个结构叫做图卷积网络
(GCN)。
当然设计几层GCN或者输出值个数,我们都是可以自定义的。
在经历第一次更新操作后:
A中有B、C、D的信息;
B中有A的信息;
C中有A、D的信息;
D中有A、C、E的信息;
E中有D的信息;
在经历第二次更新操作后:
A中有B、C、D、E的信息;
⋮
\vdots
⋮
E中有A、C、D、E的信息;
如此循环,节点逐渐包含更多其他节点的信息,只是权重不同。
PS:过年了,这段写得有点仓促,如有错误恳请纠正。作者也会在这留下TODO,后续参考更多的资料进行校正。祝兔年快乐~ 声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。