图神经网络 图卷积网络
整理:
- 图卷积的核心思想是利用『边的信息』对『节点信息』进行『聚合』从而生成新的『节点表示』
- GNN分为
spectral domain和spatial domain:
以前是谱域,涉及傅里叶变换、拉普拉斯矩阵等等(从信号与处理迁移过来的),现在逐渐转成空域,更简单一些。
图上的空域:拓扑结构
图上的频谱:没有一个直观的表示,只能用矩阵相乘的操作来表示。
谱域:
spectral domain(谱域):设计中间的卷积核->好几代GCN (从傅里叶变换到拉普拉斯矩阵,到卷积)
离散卷积CNN -> 提取图拓扑结构,借助图谱的理论实现拓扑图上的卷积操作。借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质。
- 定义了Graph上的傅里叶变换、逆变换(从传统的傅里叶变换推广过来的)
- 推广卷积,引入了一个卷积核的傅里叶变换 deep learning中的卷积参数 d i a g ( h ^ ( λ l ) ) diag(\hat{h}(\lambda_l)) diag(h^(λl))
->四代GCN (现在都不用啦) - 卷积定理:函数卷积的傅里叶变换是函数傅立叶变换的乘积。(傅里叶变换有严谨的数学证明,图上没有良好的定义;因此借用傅里叶公式进行定义)
傅里叶变换是一种线性积分变换,用于信号在时域(或空域)和频域之间的变换

空域:
spatial domain(空域):把每个顶点相邻的neighbors找出来。直接写出迭代公式,告诉我下一层是怎么变换的 (如何聚合,加权平均->添加自环… 如何考虑周到)
定义了图卷积和图聚合
总结

空间:卷积;频域:相乘
空间周期化 频域离散化
两种embedding方式,两种空间,有一一对应的关系。可以在空间上操作也可以频域上操作。
频谱是不知道长啥样的,对应一个物理含义。一开始是想利用卷积的操作,对应在非结构化的 卷积操作->GCN(图上进行卷积操作)
核心思想:卷积和聚合 信息传递的过程
不需要理解频域上的GCN,现在空域上的是主流~
图神经网络概述
相关定义:
基本概念:
- 邻居矩阵 A
- 度矩阵D:刻画邻居数量
- 归一化邻接矩阵: P = D − 1 / 2 A D − 1 / 2 P = D^{-1/2}A D^{-1/2} P=D−1/2AD−1/2 ;值代表权重:两个节点度数开根号相乘;也是对称矩阵
(拉普拉斯矩阵就是 L = D − A L=D-A L=D−A,归一化就是前后乘上 D − 1 / 2 D^{-1/2} D−1/2,展开就是了) - 归一化拉普拉斯矩阵: L = I − D − 1 / 2 A D − 1 / 2 L = I - D^{-1/2}A D^{-1/2} L=I−D−1/2AD−1/2;和 p p p比: 对角线上都是1,其他地方取负数
- 节点特征矩阵: n × f n \times f n×f
D − 1 / 2 D^{-1/2} D−1/2怎么算的:两个 D − 1 / 2 D^{-1/2} D−1/2乘起来为 D − 1 D^{-1} D−1,所以先算出来D的逆矩阵,即取倒数 开根号(对角矩阵的逆矩阵就是对角线元素的倒数)
图卷积神经网络:
- 在图结构上聚合邻居的特征信息,进行消息传递
- 借助神经网络训练消息传递中的权重
H ( l + 1 ) = σ ( P ~ H ( l ) W ( l ) ) H^{(l+1)} = \sigma (\tilde{P}H^{(l)}W^{(l)} ) H(l+1)=σ(P~H(l)W(l))
和CNN不同,权重是可以自定义的,GCN中的权重与度数相关
**图神经网络任务:**节点分类、链接预测、社区发现
滤波器(GNN的谱域解释)
通过拉普拉斯矩阵L对图信号进行操作,可以平滑噪声。
矩阵x特征向量 相当于对特征向量进行放缩,只改变大小不改变它的方向
L是对称矩阵,就可以拆成 特征向量x对角阵x特征向量的转置;其中特征向量是相互正交的
图傅里叶变换:
- L特征分解: L = U Λ U T L = U\Lambda U^T L=UΛUT 因为L是对称矩阵嘛,可以这样拆
- 图信号的傅里叶变换: x ^ = U T x \hat{x}=U^{T}x x^=UTx 特征向量组成的矩阵的转置乘初始信号
- 图信号的傅里叶逆变换: x = U x ^ x = U \hat{x} x=Ux^
为什么叫傅里叶变换:将图信号x变化到特征向量 u 1 , u 2 , . . . , u n u_1,u_2,...,u_n u1,u2,...,un组成的正交基坐标下
和传统傅里叶变换有一个对应性, 时域上的信号
- (卷积定理)卷积的傅里叶变换等于两个图信号傅里叶变换的点积
- GCN相当于地通滤波器,叠多层会过平滑
随机游走(GNN的空域解释)
等概率
过平滑的本质:从特征出发的随机游走收敛到稳态,忘记了初始特征
网站总结
- spatial domain:提取空间特征,把每个顶点的neighbors找出来
- spectral domain:借助图谱的理论实现拓扑图上的卷积操作。借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质
常用拉普拉斯矩阵有三种
- L = D − A L=D-A L=D−A
- L s y s = D − 1 / 2 L D − 1 / 2 L^{sys} = D^{-1/2}L D^{-1/2} Lsys=D−1/2LD−1/2
- L r w = D − 1 L L^{rw}=D^{-1}L Lrw=D−1L
更多推荐
所有评论(0)