基于直接高阶注意力和多尺度路由的图神经网络
信息技术与网络安全 6期
杨广乾，李金龙
(中国科学技术大学 计算机科学与技术学院，安徽 合肥230026)
摘要： 图神经网络中的注意力机制在处理图结构化数据方面表现出优异的性能。传统的图注意力计算直接连接的节点之间的注意力，并通过堆叠层数隐式获取高阶信息。尽管在图注意力机制方面目前已有广泛的研究，但用于注意力计算的堆叠范式在建模远程依赖方面效果较差。为了提高表达能力，设计了一种新颖的直接注意力机制，这一机制通过K阶邻接矩阵直接计算高阶邻居之间的注意力。通过自适应路由聚合过程进一步传播高阶信息，这使得聚合过程更灵活地适应不同图的特性。在引文网络上的节点分类任务上进行了大量的实验。实验表明，该方法优于最先进的基线模型。
中圖分類號： TP391
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.06.011
引用格式： 楊廣乾，李金龍. 基于直接高階注意力和多尺度路由的圖神經(jīng)網(wǎng)絡(luò)[J].信息技術(shù)與網(wǎng)絡(luò)安全，2022，41(6)：64-72.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.06.011
引用格式： 楊廣乾，李金龍. 基于直接高階注意力和多尺度路由的圖神經(jīng)網(wǎng)絡(luò)[J].信息技術(shù)與網(wǎng)絡(luò)安全，2022，41(6)：64-72.
Direct high-order attention and multi-scale routing for graph neural networks
Yang Guangqian，Li Jinlong
(School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China)
Abstract： Recently, the attention mechanism in Graph Neural Networks shows excellent performance in processing graph structured data. Traditional graph attention calculates the attention between directly connected nodes, and implicitly gets high-order information by stacking layers. Despite the extensive research about the graph attention mechanism, we argue that the stacking paradigm for attention calculation is less effective in modeling long-range dependency. To improve the expression ability, we design a novel direct attention mechanism, which directly calculates attention between higher-order neighbors via K-power adjacency matrix. We further propagate the higher-order information with an adaptive routing aggregation process, which makes the aggregation more flexible to adjust to the property of different graphs. We perform extensive experiments on node classifications on citation networks. Experiments shows that our method consistently outperforms the state-of-the-art baselines, which validates the effectiveness of our method.
Key words : graph neural networks；attention；dynamic routing
0 引言
圖結(jié)構(gòu)化數(shù)據(jù)廣泛存在于現(xiàn)實世界中，圖神經(jīng)網(wǎng)絡(luò)(GNN)已被證明可以有效地學習圖結(jié)構(gòu)化數(shù)據(jù)背后的知識[1-2]。圖神經(jīng)網(wǎng)絡(luò)基于傳播機制，通過聚合圖中節(jié)點的鄰居信息來學習潛在表示，可以用于下游任務(wù)，例如節(jié)點分類[2-3]、圖分類[4-5]、連接預(yù)測等。
受自然語言處理和計算機視覺中注意力機制的啟發(fā)，研究人員也開始探索圖結(jié)構(gòu)學習中的注意力機制。最廣泛使用的注意力機制是圖注意力網(wǎng)絡(luò)，它已被證明具有出色的性能。圖注意力在消息傳遞過程中計算每對鄰居的注意力分數(shù)，以衡量節(jié)點的重要性，使得圖中的歸納學習成為可能。基于這項工作，后續(xù)工作[9-11]又進行了許多對圖注意力的研究。
本文詳細內(nèi)容請下載：http://m.tom3567.com/resource/share/2000004537
作者信息：
楊廣乾，李金龍
(中國科學技術(shù)大學 計算機科學與技術(shù)學院，安徽 合肥230026)
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。