图模型训练时间砍半!GCN+Transformer新范式,3倍加速还让准确率冲顶!
图卷积网络(GCN)通过谱域卷积算子实现节点特征的拓扑传播,能够有效捕获节点间的局部同构性,为等任务提供了精准的图表示学习框架。而 Transformer 凭借多头自注意力机制,在机器翻译、时序预测等场景中展现出强大统治力。本文精选13篇,供有需要的同学无偿领取。整理不易,麻烦大家点个免费的赞哦~全部论文+开源代码需要的同学看文末。
图卷积网络(GCN)通过谱域卷积算子实现节点特征的拓扑传播,能够有效捕获节点间的局部同构性,为节点分类、图分类以及链接预测等任务提供了精准的图表示学习框架。而 Transformer 凭借多头自注意力机制,在机器翻译、时序预测等全局依赖建模场景中展现出强大统治力。
GCN+Transformer 的架构融合创造了图神经网络的新型范式,为时空图预测、跨模态图学习等前沿领域提供了兼具鲁棒性与可解释性的算法基座:
1)通过图结构引导的稀疏注意力机制,将拓扑约束融入全局上下文建模;
2)利用 Transformer 的层次化编码能力增强 GCN 的深层传播效果;
3)构建可微分图结构学习模块,突破了传统 GCN 对显式拓扑结构的依赖。
本文精选13篇最新前沿论文,供有需要的同学无偿领取。整理不易,麻烦大家点个免费的赞哦~
全部论文+开源代码需要的同学看文末
一、E2CB2former: Effecitve and Explainable Transformer for CB2 Receptor Ligand Activity Prediction

1. 方法
本研究开发了一种先进的可解释预测模型CB2former,用于预测CB2受体配体活性,结合了图卷积网络(GCN)和Transformer架构,以提高预测准确性和可解释性。
该模型通过自注意力机制识别重要的分子特征,提供了CB2受体活性的深入理解;结合SMILES字符串和分子指纹的两种分子表示方法,以捕捉配体与受体之间的相互作用;引入了动态提示机制,将与CB2相关的结构知识直接注入模型,提升了模型的收敛速度。实验表明,CB2former在分子属性预测中表现优异,显示出比传统机器学习模型更高的预测性能。 
2. 创新点
1)GCN与Transformer的结合
将GCN处理分子图结构的能力与Transformer的自注意力机制结合,既捕捉了分子的局部拓扑特征(如原子间键合关系),又通过注意力权重解析了全局长程依赖(如分子内远距离功能基团的作用)。
2)领域知识注入
通过动态提示将与CB2受体相关的结构先验知识(如关键药效团、受体结合位点信息)直接嵌入模型训练,避免了传统方法中依赖人工特征工程的繁琐流程。
3)SMILES与分子指纹的联合建模
同时利用SMILES字符串和分子指纹两种模态,全面表征分子的化学信息。这种多模态融合策略能更完整地反映配体-受体相互作用,弥补单一表示的不足。
二、Unified Spatial-Temporal Edge-Enhanced Graph Networks for Pedestrian Trajectory Prediction

1.方法
本文提出一种新的统一时空边增强图网络(UniEdge),用于行人轨迹预测,旨在解决传统方法在建模高阶跨时间交互时的局限性。UniEdge采用边到边节点到节点图卷积(E2E-N2N-GCN),联合建模行人之间的显式社交交互和隐式影响传播,增强对复杂行人行为的建模能力;使用基于transformer的预测器,能够进行全局时序相关性建模,显著提高预测性能。 
2. 创新点
1)双图架构(E2E-N2N-GCN)
UniEdge通过双图机制融合显式与隐式影响,更贴近真实复杂场景中行人的决策逻辑。
-
边到边图:显式捕捉行人间的物理社交交互(如避让、跟随)。
-
节点到节点图:隐式建模群体行为传播(如人群流动趋势、心理偏好)。
2)基于Transformer的全局预测器
传统自回归模型逐步预测轨迹时,容易因误差累积导致长期预测偏差。UniEdge利用Transformer的全局注意力机制,直接建模完整时序的依赖关系,避免局部视野限制,尤其适用于密集人群中的长时程轨迹预测。
三、Towards Robust and Realistic Human Pose Estimation via WiFi Signals

1. 方法
本研究聚焦于WiFi信号基础上的人类姿态估计,提出了一种新颖的自监督方法,旨在解决跨域差距和结构保真度问题。采用自监督掩蔽预训练和拓扑约束姿态解码机制,结合任务提示、GCN和Transformer层,探索人类关节的内在空间特性,生成更真实的姿态。 
2. 创新点
1)自监督掩蔽预训练框架
通过掩蔽WiFi信号的时间片段并强制模型重建,同时引入时间一致的对比学习,使模型学习到领域不变的运动表示。这一设计有效缓解了WiFi信号与人体姿态之间的跨域语义鸿沟,减少了对标注数据的依赖。
2)拓扑约束姿态解码机制
采用 GCN-Transformer混合架构,利用GCN显式建模人体关节的拓扑连接(如骨骼链),而Transformer层捕捉关节间的长程依赖(如左右对称关节的协同运动),二者互补提升结构保真度。
论文链接:[2501.09411] Towards Robust and Realistic Human Pose Estimation via WiFi Signals
关注下方《AI前沿速递》🚀🚀🚀
回复“C188”获取全部方案+开源代码
码字不易,欢迎大家点赞评论收藏
更多推荐
所有评论(0)