整理:

  • 图卷积的核心思想是利用『边的信息』对『节点信息』进行『聚合』从而生成新的『节点表示』
  • GNN分为spectral domainspatial domain
    以前是谱域,涉及傅里叶变换拉普拉斯矩阵等等(从信号与处理迁移过来的),现在逐渐转成空域,更简单一些。
    图上的空域:拓扑结构
    图上的频谱:没有一个直观的表示,只能用矩阵相乘的操作来表示。

谱域:

spectral domain(谱域):设计中间的卷积核->好几代GCN (从傅里叶变换到拉普拉斯矩阵,到卷积)
离散卷积CNN -> 提取图拓扑结构,借助图谱的理论实现拓扑图上的卷积操作。借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质。

  1. 定义了Graph上的傅里叶变换、逆变换(从传统的傅里叶变换推广过来的)
  2. 推广卷积,引入了一个卷积核的傅里叶变换 deep learning中的卷积参数 d i a g ( h ^ ( λ l ) ) diag(\hat{h}(\lambda_l)) diag(h^(λl))
    ->四代GCN (现在都不用啦)
  3. 卷积定理:函数卷积的傅里叶变换是函数傅立叶变换的乘积。(傅里叶变换有严谨的数学证明,图上没有良好的定义;因此借用傅里叶公式进行定义)

傅里叶变换是一种线性积分变换,用于信号在时域(或空域)和频域之间的变换

在这里插入图片描述

空域:

spatial domain(空域):把每个顶点相邻的neighbors找出来。直接写出迭代公式,告诉我下一层是怎么变换的 (如何聚合,加权平均->添加自环… 如何考虑周到)
定义了图卷积和图聚合
在这里插入图片描述

总结

在这里插入图片描述

空间:卷积;频域:相乘
空间周期化 频域离散化
两种embedding方式,两种空间,有一一对应的关系。可以在空间上操作也可以频域上操作。

频谱是不知道长啥样的,对应一个物理含义。一开始是想利用卷积的操作,对应在非结构化的 卷积操作->GCN(图上进行卷积操作)
核心思想:卷积和聚合 信息传递的过程
不需要理解频域上的GCN,现在空域上的是主流~

图神经网络概述

青源Talk第7期|魏哲巍:图神经网络的理论基础

相关定义:

基本概念:

  • 邻居矩阵 A
  • 度矩阵D:刻画邻居数量
  • 归一化邻接矩阵: P = D − 1 / 2 A D − 1 / 2 P = D^{-1/2}A D^{-1/2} P=D1/2AD1/2 ;值代表权重:两个节点度数开根号相乘;也是对称矩阵
    (拉普拉斯矩阵就是 L = D − A L=D-A L=DA,归一化就是前后乘上 D − 1 / 2 D^{-1/2} D1/2,展开就是了)
  • 归一化拉普拉斯矩阵: L = I − D − 1 / 2 A D − 1 / 2 L = I - D^{-1/2}A D^{-1/2} L=ID1/2AD1/2;和 p p p比: 对角线上都是1,其他地方取负数
  • 节点特征矩阵: n × f n \times f n×f
    D − 1 / 2 D^{-1/2} D1/2怎么算的:两个 D − 1 / 2 D^{-1/2} D1/2乘起来为 D − 1 D^{-1} D1,所以先算出来D的逆矩阵,即取倒数 开根号(对角矩阵的逆矩阵就是对角线元素的倒数)

图卷积神经网络:

  1. 在图结构上聚合邻居的特征信息,进行消息传递
  2. 借助神经网络训练消息传递中的权重
    H ( l + 1 ) = σ ( P ~ H ( l ) W ( l ) ) H^{(l+1)} = \sigma (\tilde{P}H^{(l)}W^{(l)} ) H(l+1)=σ(P~H(l)W(l))

和CNN不同,权重是可以自定义的,GCN中的权重与度数相关

**图神经网络任务:**节点分类、链接预测、社区发现

滤波器(GNN的谱域解释)

通过拉普拉斯矩阵L对图信号进行操作,可以平滑噪声。

矩阵x特征向量 相当于对特征向量进行放缩,只改变大小不改变它的方向
L是对称矩阵,就可以拆成 特征向量x对角阵x特征向量的转置;其中特征向量是相互正交的

图傅里叶变换:

  1. L特征分解: L = U Λ U T L = U\Lambda U^T L=UΛUT 因为L是对称矩阵嘛,可以这样拆
  2. 图信号的傅里叶变换 x ^ = U T x \hat{x}=U^{T}x x^=UTx 特征向量组成的矩阵的转置乘初始信号
  3. 图信号的傅里叶逆变换 x = U x ^ x = U \hat{x} x=Ux^

为什么叫傅里叶变换:将图信号x变化到特征向量 u 1 , u 2 , . . . , u n u_1,u_2,...,u_n u1,u2,...,un组成的正交基坐标下
和传统傅里叶变换有一个对应性, 时域上的信号

  • (卷积定理)卷积的傅里叶变换等于两个图信号傅里叶变换的点积
  • GCN相当于地通滤波器,叠多层会过平滑

随机游走(GNN的空域解释)

等概率
过平滑的本质:从特征出发的随机游走收敛到稳态,忘记了初始特征

网站总结

GCN 总结

  • spatial domain:提取空间特征,把每个顶点的neighbors找出来
  • spectral domain:借助图谱的理论实现拓扑图上的卷积操作。借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质

常用拉普拉斯矩阵有三种

  1. L = D − A L=D-A L=DA
  2. L s y s = D − 1 / 2 L D − 1 / 2 L^{sys} = D^{-1/2}L D^{-1/2} Lsys=D1/2LD1/2
  3. L r w = D − 1 L L^{rw}=D^{-1}L Lrw=D1L
Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐