基于圖注意力的高階網絡節點分類方法

作者簡介：陳東洋（1997－），男，山東青島人，碩士研究生，主要研究方向為圖神經網絡、機器學習；郭進利（1960－），男（通信作者），陜西西安人，教授，博導，博士，主要研究方向為復雜網絡、人類行為動力學（phd5816@163.com）.

摘 要：為了更好地學習網絡中的高階信息和異質信息，基于單純復形提出單純復形—異質圖注意力神經網絡方法—SC－HGANN。首先，用單純復形提取網絡高階結構，將單純復形轉換為單純復形矩陣；其次，使用注意力機制從特征單純復形中得到異質節點的特征；再次，對同質和異質單純復形矩陣進行卷積操作后，得到同質特征與異質特征，通過注意力算子進行特征融合；最后，得到目標節點的特征并將其輸入到節點分類模塊完成分類。與GCN、HGNN、HAN等基線方法相比，提出的方法在三個數據集上的macro-F1、micro-F1、precision和recall均有所提升。表明該方法能有效地學習網絡中的高階信息和異質信息，并能提升網絡節點分類的準確率。

關鍵詞：單純復形；高階網絡；注意力機制；圖神經網絡；節點分類

中圖分類號：TP183 文獻標志碼：A 文章編號：1001－3695（2023）04－022－1095－06doi： 10.19734/j.issn.1001－3695.2022.09.0455

Abstract：In order to better learn the high-order information and heterogeneous information in the network， this paper proposed a simplicial complex-heterogeneous graph attention neural network method based on simplicial complex （SC-HGANN）. Firstly， it used simplicial complex to extract the high-order structure of the network， and took conversion from simplicial complex to simplicial complex matrix. Secondly， it applied the attention mechanism to obtain the feature of heterogeneous nodes from the features simplicial complex. Then， after convolution operation of homogeneous and heterogeneous simplicial complex matrix， homogeneous feature and heterogeneous feature took feature fusion to generate the feature of the target node by attention operator. Finally， the feature of the target node inputted the node classification module completes the classification. Compared with baseline methods such as GCN， HGNN and HAN， the SC-HGANN improves macro-F1， micro-F1， precision and recall on the three datasets. The results show that the SC-HGANN can effectively learn high-order information and heterogeneous information in the network， and improve the accuracy of node classification.

Key words：simplicial complex; higher-order network; attention mechanism; graph neural network; node classification

0 引言

隨著深度學習的發展，神經網絡被廣泛地應用于處理各種數據，卷積神經網絡［1］在圖像處理方面有獨特的優越性。而循環神經網絡［2］對具有序列特性的數據非常有效，能夠挖掘數據中的時序信息和語義信息。循環神經網絡的變體長短期記憶神經網絡［3］采用門控機制以更好地捕捉時間序列信息［4］。但是，上述神經網絡方法無法用于非歐幾里德數據的處理。因此，圖學習的方法應運而生，用來處理圖數據。圖學習的代表性方法主要以圖嵌入和圖神經網絡方法為主，圖嵌入方法將網絡中的節點看做自然語言處理中的詞語，在網絡上進行隨機游走生成節點序列并將序列傳入到skip-gram模型中，獲得節點表示，代表性的方法有DeepWalk［5］、node2vec［6］等。而圖神經網絡方法主要有圖卷積神經網絡［7］、GraphSAGE［8］和圖注意力網絡［9］等，主要是通過聚集鄰居節點信息進行節點聚合表示。圖神經網絡的方法被廣泛應用于各個場景之中，如重要節點識別［10］、社交網絡［11］、自然語言處理［12］等。

上述圖神經網絡大部分適用于只有一類節點或邊的同質網絡，但現實世界中的網絡包含多種類型的節點和邊，節點和邊的多樣性會產生豐富的異質信息。因此，對于異質網絡的表示學習，許多學者通過元路徑來獲取網絡中節點的異質信息，并與圖嵌入或是圖卷積方法聯合對網絡異質信息進行學習，Wang等人［13］提出異質圖注意力網絡將注意力機制引入異質圖中，包括基于節點級別和語義級別的注意力，在元路徑間使用節點級別注意力機制來學習節點的異質信息，隨后使用語義級別注意力機制來獲取不同元路徑之間節點的信息表示。

但上述方法忽視了網絡中存在的高階信息。超圖［14，15］可以表示網絡中節點的高階信息交互。因此，超圖經常被用于網絡中高階信息的表示，超圖卷積神經網絡［16］和動態超圖神經網絡［17］都是通過構建超圖對網絡的高階信息進行學習，超圖神經網絡和其他方法相結合被應用于各種場景。單純復形也能獲取網絡的高階結構，相比于超圖，單純復形［18］在拓撲層面上刻畫了網絡中節點間的高階相互作用，并且單純復形中的每一個單純形維度都能很好地描述拓撲結構中每個點的相互作用情況。在異質網絡中，異質圖注意力網絡通過元路徑獲取異質信息，但沒有學習到異質網絡的高階信息，而單純復形的優勢體現在通過高階結構關系使異質信息在網絡中進行高維表示。單純復形和超圖的結構如圖1所示。

因此，為了學習網絡中的異質信息和高階信息，本文提出了單純復形—異質圖注意力神經網絡（simplicial complex-heterogeneous graph attention neural network，SC-HGANN），使用單純復形提取網絡的高階結構，通過特征融合獲取網絡異質信息。根據SC-HGANN在節點分類任務中的表現，來檢驗其學習能力。

1 相關工作

近些年，圖學習在節點分類任務中取得了豐厚的成果。圖學習的節點分類方法主要包括圖嵌入方法和圖神經網絡方法。

1.1 圖嵌入方法的節點分類

文獻［5，6］只關注了節點本身的固有特征，忽視了網絡結構對節點的影響。Tang等人［19］將節點的一階相似度與二階相似度引入到節點低維嵌入空間中，保留了網絡結構對節點分類的影響。隨著研究場景的變化，圖嵌入方法與其他方法相結合，以適應諸如社交網絡［20］等具體場景。文獻［20］通過圖嵌入方法獲取節點特征向量，使用支持向量機進行節點的分類預測，對無屬性社交網絡節點分類效果有明顯提升。文獻［21］將Sdne算法與鏈路預測相似度矩陣算法相結合進行節點分類，改進了圖嵌入方法在處理節點對相似性時忽視網絡結構潛在關系的問題。在異質網絡中，Dong等人［22］定義隨機游走的策略，通過元路徑獲取節點的異質鄰居，將元路徑輸入到skip-gram模型得到節點表示。段震等人［23］將異質信息網絡表示方法用于引文推薦，把不同類型節點間的相互關系構建為異質信息網絡，并對目標節點進行采樣，構成由元路徑與隨機游走相結合的游走序列，最后使用skip-gram算法得到節點的嵌入。

1.2 圖神經網絡方法的節點分類

圖神經網絡方法被廣泛地應用在節點分類任務中。除了在同質網絡使用外，謝小杰等人［24］使用異質網絡化簡并降低網絡建模復雜度，再使用圖卷積模型學習無1-sum約束的鄰居權重網絡結構信息，挖掘語義特征，提取語義差異性，生成表示異質語義的節點。李曉杰等人［25］將門控神經網絡與超圖神經網絡相結合用于股票的股價預測。通過網絡模體或元路徑構建元圖也可以對網絡的高階信息進行表示。吳越等人［26］使用網絡模體來提取網絡中的高階結構來構建超圖，將超圖進行卷積，并加入超邊注意力機制聚合網絡中的信息，學習網絡的高階關系并獲得復雜語義信息。任嘉睿等人［27］提出基于元圖卷積的異質圖神經網絡算法，通過元圖的異構鄰接矩陣融合多條元路徑上的不同語義信息，挖掘節點間的高階關系。但隨著網絡模體和元圖中節點數量等級的增加，對網絡模體和元圖的計算要求也呈指數倍增加。

在提取網絡高階結構時，上述方法容易忽視對異質節點信息的學習。使用元圖進行高階結構提取時，將異質節點作為過渡節點，沒有考慮異質節點本身的特征。通過網絡模體進行高階結構提取時，由于模體節點數量的固定，導致異質信息的采集不充足。本文在上述工作的基礎上，除了使用單純復形進行高階結構提取外，還能夠將異質信息進行充分的學習，以提升對網絡異質信息的利用效率。

2 SC-HGANN模型

本文SC-HGANN模型如圖2所示。該模型以電影數據集為例來構建網絡，該網絡包含三種類型的節點，電影節點（im）作為目標節點，導演節點（id）和演員節點（ia）作為非目標節點。首先，根據數據構建網絡，使用單純復形獲取網絡的高階結構，并將單純復形轉換為單純復形矩陣，進行卷積操作。其次，引入注意力機制對異質信息進行特征拼接，并進行超圖卷積操作，獲得目標節點的特征表示。再次，對目標節點的同質特征與異質特征進行特征融合。最后，通過全連接層和softmax函數對目標節點進行分類。

3 實驗結果及分析

3.1 數據集

本文采用的數據集是從Kaggle平臺中獲取到的Netflix數據集和ACM引文數據集。本文將Netflix進行了拆分，分成Netflix-TV和Netflix-movie數據集。對兩個數據集進行特征處理，對TV show和movie的描述轉換成詞袋，隨后進行one-hot 編碼，獲得數據集的特征。Netflix-TV 數據集由三類節點構成，分別為1 478部電視劇（TV show）、88位導演（director）和9 680名演員（actor）。Netflix-movie數據集有三類節點，分別為2 789部電影（movie）、14 413名演員（actor）和2 195位導演（director）。類別根據TV show和movie所屬的題材確定，TV show分為6類，movie分為20類。

抽取ACM引文數據集中的部分數據，構成ACM的子數據集ACM-Sub。ACM-Sub由三類節點構成，分別為7 280篇論文（paper）、17 351位作者（author）、73個論文領域（field）。引文數據集在進行篩選后，根據論文所屬類型分為5類。三個數據集的相關信息如表1所示。

3.2 實驗設置

使用Kaggle平臺提供的CPU和GPU，在PyTorch框架下，使用Python語言構建SC-HGANN模型，模型每一次迭代表示其進行一次更新優化。實驗結果取30次實驗的平均值。在實驗中使用Adam優化器、交叉熵損失函數、學習率為0.001，dropout為0.6，權重衰減設置為0.005，采用早停策略，如果訓練集的損失在50輪迭代后變化小于0.002，則停止迭代。其中，本文方法在超圖卷積的過程中使用了兩次卷積，設置的隱藏層的維度分別為128和64。為了保證實驗的公平性和有效性，其他基線方法的參數設置均按照原方法的參數進行設置。最后，每個數據集的數據按照20%、40%、60%、80% 的比例作為訓練集，剩余部分為測試集。選取測試集的micro-F1、macro-F1、precision和recall作為實驗的評價指標。

對于同質圖的方法，如GCN、GAT，表現低于其他方法，表明在異質圖中，將同質圖方法直接用于異質圖中是不適宜的，沒有考慮到其他異質節點信息對目標節點的影響和作用。HGCN將超邊引入圖卷積網絡能明顯提高同質圖中節點分類能力，相比于GCN、GAT，HGCN獲取了網絡的高階結構信息。所以，HGNN在準確率方面有所提升，但還是存在異質信息采集不足的問題。DHGNN在超圖卷積的過程中，使用卷積算子動態提取網絡高階信息，實驗結果明顯優于HGNN方法，但是兩種方法都沒有對網絡中異質信息進行學習，因此準確率低于HAN。對于異質圖，HAN基于元路徑方法得到節點級別和語義級別信息，獲得節點特征。在異質網絡中，表現明顯好于同質圖方法，證明了異質信息采集的必要性，但不如SC-HGANN的準確率高。原因在于HAN在異質網絡中采用元路徑對節點的異質信息進行學習，但是網絡中異質信息沒有被聚合到節點之中，而SC-HGANN則聚合了異質信息，并進一步使用單純復形學習網絡中的高階信息。通過表2、3的節點分類指標macro-F1、micro-F1、precision和recall，表明SC-HGANN的方法明顯優于HAN。以ACM-Sub數據集為例，在其訓練比例為80%時，對HAN 與SC-HGANN的結果進行了對比，結果如圖3所示。

在三個數據集中，ACM-Sub數據集在節點分類中的表現明顯優于其他數據集。首先，ACM-Sub的實驗樣本較多而分類數量相對較少；其次，ACM-Sub的詞袋特征數據相比于其他數據集更加凝練；最后，ACM-Sub中節點與節點之間的關聯更加強烈。因此，在ACM-Sub中所有方法較其他數據集均有較好的準確率。但是，Netflix-TV與Netflix-movie中影視劇的關聯強度沒有文獻關聯強度高。因此，在Netflix-TV和Netflix-movie中所有方法無法像ACM-Sub那樣表現出較高的準確率。然而，在Netflix的兩個數據集中，相比于Netflix-movie，Netflix-TV的表現更好，原因在于節點分類數目較少。在節點的多分類任務中，增加節點分類數量會影響分類的準確率。根據表2、3的結果可以發現，在Netflix-movie中本文方法準確率雖低，但依然優于其他深度圖神經網絡方法。

3.4 模型參數分析

本文就模型的主要參數學習率、dropout和權重衰減（weight decay）進行了分析，在實驗過程中保證其他模型參數不變。以ACM-Sub數據集為例，在其訓練比例為80%時，使用micro-F1作為模型性能的評估指標。圖4分別展現了不同參數的取值，對模型性能的影響。根據micro-F1選出最優的模型參數，以提高模型在節點分類任務中的性能。

圖4（a）表示不同學習率取值對模型性能的影響，當學習率為0.001時模型表現最優，當學習率成倍增加或遞減時，模型性能相對降低，表示學習率的取值對模型的性能有著較大的影響。圖4（b）表示不同dropout取值對模型性能的影響，當取值為0.6時模型的表現最好，隨著dropout的逐漸增加或遞減，模型性能也隨之降低，模型的表現不同于學習率，變化幅度不大。由圖4（c）所示，權重衰減值為0.005時模型的表現最優，隨著其成倍地遞增或遞減，模型性能逐步降低，當權重衰減值為0.05時，模型的性能呈斷崖式下跌。因此，在學習率為0.001、dropout值為0.6、權重衰減值為0.005時，模型在節點分類任務中表現最優。

3.5 可視化

為了直觀展示SC-HGANN方法在節點分類任務的表現，在ACM-Sub數據集，訓練比例為80%時，對不同的節點分類模型，使用t-SNE ［28］方法進行實驗，可視化結果如圖5所示，GCN、GAT表示只考慮同質節點之間的信息交互，故生成的節點簇比較散亂。HGNN、DHGNN在上述方法的基礎上，考慮到了節點間的高階交互信息，分類效果有所提升，但是節點簇呈現梭形導致決策邊界粗糙。HAN同時考慮到同質節點與異質節點的信息，表現效果卻不如SC-HGANN，原因在于未考慮到異質節點的高階信息交互，SC-HGANN有明顯的決策邊界，節點幾乎分離成五個簇，決策邊界平滑。根據圖5的可視化結果，表明SC-HGANN對網絡中高階信息和異質信息的學習能力優于其他方法。

為了將同質單純復形矩陣與異質單純復形矩陣相結合，提出了矩陣拼接、矩陣異質融合和特征融合三種方法，其通過不同的方式對兩個單純復形矩陣進行了融合。為了驗證三種方法對模型的作用，以ACM-Sub數據集為例，在其訓練比例為80%時，使用micro-F1和macro-F1作為性能評估指標，驗證特征融合對模型的性能提升是否高于其他兩種方法。實驗結果如圖6所示。矩陣拼接和矩陣異質融合是通過改變矩陣的單純形數量或是其中節點的數量，沒有考慮將同質特征融入進異質特征之中，導致對模型的作用效果不如特征融合的效果好。所以，本文采用特征融合方法以提升模型的性能。

4 結束語

現實世界中的網絡往往存在豐富的異質信息和高階信息，為了更好地學習網絡中的異質信息和高階信息，提出單純復形—異質圖注意力神經網絡，使用了單純復形來抽取網絡中的高階結構，將單純復形轉換為單純復形矩陣進行卷積操作，能夠更好地學習網絡的高階信息；引入注意力算子，將卷積后的節點特征進行特征融合，此過程融合了節點的異質信息和同質信息，使得節點能夠獲取到更豐富的網絡信息。因此，本文方法能夠在高階網絡中很好地學習到網絡的高階信息與異質信息，解決了在復合網絡中如何獲取復合信息進行網絡表示的問題。在節點分類任務中，本文方法在三個數據集上的表現優于其他深度圖神經網絡方法。實驗結果表明，在現實世界中，同時考慮網絡的異質性和網絡中的高階結構是必要的。此外，由于不同的單純復形中包含的高階信息不同，未來將進一步加強單純復形對高階信息的獲取，考慮單純復形轉換為單純復形矩陣后矩陣內部邊的重要程度。

參考文獻：

［1］Schuster M，Kuldip K P. Bidirectional recurrent neural networks［J］. IEEE Trans on Signal Processing，1997，11（45）： 2673－2681.

［2］LeCun Y，Bottou L，Bengio Y，et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE，1998，11（86）： 2278－2324.

［3］Hochreiter S，Schmidhuber J. Long short-term memory［J］. Neural Computation，1997，8（9）： 1735－1780.

［4］黃偉建，李永濤，黃遠. 基于混合神經網絡和注意力機制的混沌時間序列預測［J］. 物理學報，2021，70（1）： 235－243. （Huang Weijian，Li Yongtao，Huang Yuan. Prediction of chaotic time series using hybrid neural network and attention mechanism［J］. Acta Phy-sica Sinica，2021，70（1）： 235－243.）

［5］Perozzi B，Al-Rfou R，Skiena S. DeepWalk： online learning of social representations［C］// Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2014： 701－710.

［6］Grover A，Leskovec J. node2vec： scalable feature learning for networks ［C］// Proc of the 22nd ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining. New York： ACM Press，2016： 855－864.

［7］Kipf T N，Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］. （2017－02－22）. https：//arxiv. org/abs/1609. 02907.

［8］Hamilton W，Ying R，Leskovec J. Inductive representation learning on large graphs［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2017： 1025－1035.

［9］Velickovic P，Cucurull G，Casanova A，et al. Graph attention networks［EB/OL］. （2017－10－30）. https：//arxiv. org/abs/1710.10903.

［10］劉琳嵐，譚鎮陽，舒堅. 基于圖神經網絡的機會網絡節點重要度評估方法［J］. 計算機研究與發展，2022，59（4）： 834－851. （Liu Linlan，Tan Zhenyang，Shu Jian. Node importance estimation method for opportunistic network based on graph neural networks［J］. Journal of Computer Research and Development，2022，59（4）： 834－851.）

［11］馬帥，劉建偉，左信. 圖神經網絡綜述［J］. 計算機研究與發展，2022，59（1）： 47－80. （Ma Shuai，Liu Jianwei，Zuo Xin. Survey on graph neural network［J］. Journal of Computer Research and Development，2022，59（1）： 47－80.）

［12］王婷，朱小飛，唐顧. 基于知識增強的圖卷積神經網絡的文本分類［J］. 浙江大學學報： 工學版，2022，56（2）： 322－328. （Wang Ting，Zhu Xiaofei，Tang Gu. Knowledge-enhanced graph convolution neural networks for text classification［J］. Journal of Zhejiang University： Engineering Edition，2022，56（2）： 322－328.）

［13］Wang Xiao，Ji Houye，Shi Chuan，et al. Heterogeneous graph attention network［EB/OL］. （2019－05－17）. https：//arxiv. org/abs/1903.07293.

［14］Berge C. Graphs and hypergraphs［M］. North Holland： Elsevier，1973.

［15］Berge C. Hypergraph： combinatorics of finite sets［M］. North Holland： Elsevier，1984.

［16］Feng Yifan，You Haoxuan，Zhang Zizhao，et al. Hypergraph neural networks［C］// Proc of the 31st AAAI Conference on Artificial Intelligence and the 31st Innovative Applications of Artificial Intelligence Conference and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto，CA： AAAI Press，2019： 3558－3565.

［17］Kang Xiaojun，Li Xinchuan，Yao Hong，et al. Dynamic hypergraph neural networks based on key hyperedges［J］. Information Sciences，2022，616（11）： 37－51.

［18］Battiston F，Cencetti G，Iacopini I，et al. Networks beyond pairwise interactions： structure and dynamics［J］. Physics Reports，2020，874： 1－92.

［19］Tang Jian，Qu Meng，Wang Mingzhe，et al. LINE： large-scale information network embedding［C］// Proc of the 24th International Conference on World Wide Web. ［S.l.］： International World Wide Web Conferences Steering Committee，2015： 1067－1077.

［20］張陶，于炯，廖彬，等. 基于圖嵌入與支持向量機的社交網絡節點分類方法［J］. 計算機應用研究，2021，38（9）： 2646－2650. （Zhang Tao，Yu Jiong，Liao Bin，et al. Node classification method in social network based on graph embedding and support vector machine［J］.Application Research of Computers，2021，38（9）： 2646－2650.）

［21］陳世聰，袁得崳，黃淑華，等. 基于結構深度網絡嵌入模型的節點標簽分類算法［J］. 計算機科學，2022，49（3）： 105－112. （Chen Shicong，Yuan Deyu，Huang Shuhua，et al. Node label classification algorithm based on structural depth network embedding model［J］. Computer Science，2022，49（3）： 105－112.）

［22］Dong Yuxiao，Chawla N V，Swami A. metapath2vec： scalable representation learning for heterogeneous networks［C］// Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2017：135－144.

［23］段震，余豪，趙姝，等. 基于異質信息網絡表示學習的引文推薦方法［J］. 小型微型計算機系，2021，42（8）： 1591－1597. （Duan Zhen，Yu Hao，Zhao Shu，et al. Citation recommendation method based on heterogeneous information network representation learning［J］. Journal of Chinese Computer Systems，2021，42（8）： 1591－1597.）

［24］謝小杰，梁英，王梓森，等. 基于圖卷積的異質網絡節點分類方法 ［J］. 計算機研究與發展，2022，59（7）： 1470－1485. （Xie Xiaojie，Liang Ying，Wang Zisen，et al. Heterogeneous network node classification method based on graph convolution［J］. Journal of Computer Research and Development，2022，59（7）： 1470－1485.）

［25］李曉杰，崔超然，宋廣樂，等. 基于時序超圖卷積神經網絡的股票趨勢預測方法［J］. 計算機應用，2022，42（3）： 797－803. （Li Xiao-jie，Cui Chaoran，Song Guangle，et al. Stock trend prediction method based on temporal hypergraph convolution neural network［J］. Journal of Computer Applications，2022，42（3）： 797－803.）

［26］吳越，王英，王鑫，等. 基于超圖卷積的異質網絡半監督節點分類［J］. 計算機學報. 2021，44（11）： 2248－2260. （Wu Yue，Wang Ying，Wang Xin，et al. Motif-based hypergraph convolution network for semi-supervised node classification on heterogeneous graph［J］. Chinese Journal of Computers，2021，44（11）： 2248－2260.）

［27］任嘉睿，張海燕，朱夢涵，等. 基于元圖卷積的異質網絡嵌入學習算法［J］. 計算機研究與發展，2022，59（8）： 1683－1693. （Ren Jiarui，Zhang Haiyan，Zhu Menghan，et al. Embedding learning algorithm for heterogeneous network based on meta-graph convolution［J］. Journal of Computer Research and Development，2022，59（8）： 1683－1693.）

［28］Laurens V D M，Hinton G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research，2008，9： 2579－2605.