基于節點相似性的圖注意力網絡表示學習模型

摘 要：圖注意力網絡（GAT）通過注意力機制聚合節點的鄰居信息以提取節點的結構特征，然而并沒有考慮網絡中潛在的節點相似性特征。針對以上問題，提出了一種考慮網絡中相似節點的網絡表示學習方法NSGAN。首先，在節點層面上，通過圖注意力機制分別學習相似網絡和原始網絡的結構特征；其次，在圖層面上，將兩個網絡對應的節點嵌入通過基于圖層面的注意力機制聚合在一起，生成節點最終的嵌入表示。在三個數據集上進行節點分類實驗，NSGAN比傳統的圖注意力網絡方法的準確率提高了約2%。

關鍵詞：圖注意力網絡； 網絡表示學習； 節點分類； 節點相似性； 注意力機制

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695（2023）03-029-0822-06

doi： 10.19734/j.issn.1001-3695.2022.07.0403

Graph attention network representation learning with node similarity

Liu Yuan1， Zhao Zijuan2， Yang Kai1

（1.College of Information Engineering， Yangzhou University， Yangzhou Jiangsu 225127， China; 2.Business School， University of Shanghai for Science amp; Technology， Shanghai 200093， China）

Abstract：Graph attention network（GAT） aggregates the information of neighbor nodes to extract the structural features of nodes through the attention mechanism， however， it doesn’t consider the potential node similarity features in the network. To address these problems， this paper proposed a network representation learning method that considered similar nodes in the network（NSGAN）. Firstly， at the node level， the NSGAN learned the structural features of the similar network and the original network separately through the graph attention mechanism. Secondly， it aggregated the node embeddings corresponding to the two networks together through the graph-based attention mechanism to generate the final embedding representation at the graph level. In the node classification experiments on the three datasets， the NSGAN improves the accuracy by about 2% over the traditional graph attention network approach，which demonstrates the effectiveness of the NSGAN model.

Key words：graph attention network; network representation learning; node classification; node similarity; attention mechanism

0 引言

隨著對圖神經網絡（GNN）［1］的研究不斷加深，許多經典的圖神經網絡方法，如圖卷積網絡（GCN）［2］、圖注意力網絡（GAT）［3］等在各種下游任務中取得了令人矚目的成果。圖神經網絡逐漸成為推薦系統［4］、自然語言處理［5］和生物醫療［6］等領域中一種非常受歡迎的研究方法。其中，GAT以不依賴圖的整體結構且可解釋性強等優勢在不同領域中得到了廣泛應用。GAT模型的主要思想是使用注意力機制學習網絡的結構特征和節點的屬性信息，即通過聚合一階鄰居節點的特征信息作為節點的結構信息，然后通過多層線性變換和非線性激活得到每一個節點在低維嵌入空間中的向量表示，最后將GAT模型生成的節點嵌入應用到各種機器學習任務中，如節點分類、鏈路預測［7］、社區識別［8］和圖異常檢測［9］等。本文主要研究節點分類任務，即利用給定初始節點特征和結構信息的一組已知標簽的節點學習節點的嵌入表示與其自身的標簽之間的潛在關聯性，進而對其他未知標簽節點的類型進行預測。節點分類是機器學習領域中常見且重要的下游任務之一，主要通過一部分已知標簽的節點信息預測網絡中其他未知節點的標簽［10］，屬于半監督學習［11］。為了更好地挖掘節點特征與標簽之間的潛在關聯，研究人員基于深度學習提出圖神經網絡，即通過對網絡結構的數據進行建模，不僅關注節點自身的特征信息，還通過聚合鄰居節點的特征信息來捕獲節點的結構特征，最后生成節點在低維嵌入空間中的向量表示［12］。

由于網絡結構數據中包含噪聲信息，比如部分節點對之間的鏈接可能是不可靠的，而常規的GNN算法總是平等地對待每一個鄰居節點的特征信息，忽略了不同鄰居節點的差異性，使得模型學習到的結構信息不夠全面和穩健［13］。GAT利用掩飾的注意力機制［14］來區分不同鄰居節點的重要性，并通過聚合節點的一階鄰居節點的特征信息來表示該節點的結構特征，然而GAT模型在關注節點的局部結構特征時忽略了節點的非局部信息，比如與該節點最相關的高階節點。同時，SiGraC模型通過考慮基于節點相似性指標的相似節點來捕獲更充分的節點結構信息［15］，但是SiGraC模型本質上還是基于圖卷積的思想進行信息傳遞，沒有考慮鄰居節點與相似節點之間的相對重要性。為了讓模型能夠挖掘更全面的結構特征，CGAT模型提出同時挖掘節點的局部特征信息和非局部特征信息，最后將兩者串聯在一起作為節點最終的嵌入表示［16］，不過該模型忽略了不同視角對應的節點的特征信息在下游任務中的相對重要性。MV-GAN模型引進基于視角層面的注意力機制來聚合該模型學習到的不同視角的節點嵌入表示，最后得到包含更豐富語義信息的節點嵌入表示［17］。此外，大多數真實世界中的網絡屬于無標度網絡，即網絡中大量的節點具有很少的一階鄰居節點，僅僅使用這些一階鄰居難于捕獲節點全面的結構信息［18］。同時，研究者提出的基于局部信息的節點相似性［19］認為，在網絡中兩個節點之間存在的共同鄰居數量越多，則這兩個節點具有的相似特征越多，即這兩個節點屬于同一類型標簽的可能性更大［20］。

針對以上分析，為了進一步挖掘網絡潛在的結構特征，本文針對目前算法存在的不足提出新的網絡表示學習模型。首先，本文利用注意力機制學習鄰居節點的特征信息，以區分不同鄰接節點的重要性，減少噪聲信息的影響；其次，本文借助多視角學習的思想，同時考慮節點的局部特征信息和高階特征信息，對于高階結構信息，本文將傳統的圖注意力網絡與基于局部信息的節點相似性指標結合在一起，即使用Jaccard指標［21］計算網絡中的相似節點得到相似網絡，并輸入到圖注意力機制中進行特征學習，使得模型可以提取網絡中高階鄰居的結構信息；為了更好地發揮基于局部特征信息和高階特征信息兩個視角的嵌入表示的有效性，并在下游任務中更好地調整每一個視角的節點嵌入的相對重要性，本文將兩個視角對應的節點嵌入表示通過一個圖層面的注意力機制［22］聚合在一起，以得到更加全面和穩健的節點嵌入表示，并應用到具體的節點分類任務中。

本文的貢獻如下：a）提出了一個新的節點分類模型NSGAN，通過考慮網絡中的相似節點，NSGAN可以提取更全面的網絡結構信息，并且生成更準確的節點嵌入；b） 結合多個網絡生成的節點嵌入，并利用圖層面的注意力機制聚合在一起，使得模型可以從不同方法提取網絡特征，再根據具體的下游任務聚合為節點最終的嵌入表示，增加了模型的可擴展性和靈活性，在具體下游任務中的學習能力更強。NSGAN在三個真實網絡中進行節點分類任務，并與三個經典的對比算法進行比較，取得最佳的節點分類結果，體現了本文提出的NSGAN模型的有效性。

1 模型分析

圖神經網絡通過聚合鄰居節點的特征信息以捕獲網絡的結構特征信息和節點的特征信息，但是常見的GNN模型忽略了網絡結構中的節點相似性特征，而節點相似性在很多下游任務，如節點分類、鏈路預測中發揮著重要作用。為了保存網絡中的節點相似性特征，Cokun等人［15］基于圖卷積網絡的思想提出了SiGraC模型，主要是借助節點相似性指標如Jaccard指標，根據網絡的局部結構特征得到網絡中每一個節點的相似節點集合，并將相似節點作為一階鄰居節點補充到信息聚合過程中，使模型能夠捕獲更多的結構信息。通過考慮相似節點，SiGraC模型在鏈路預測任務中取得了比GAE［23］、DGI［24］等基準方法更好的實驗結果。為了驗證節點相似性是否對緩解網絡的稀疏性有效，本文對三個數據集的平均度和網絡密度進行計算，結果如表1、2所示。

其中：K1和K2分別表示原始網絡和最終使用的相似網絡對應的節點的平均度；D1和D2分別表示原始網絡和最終使用的相似網絡的密度。從表1、2可得，Cora、Citeseer和Pubmed數據集對應節點的平均度從4.0、2.8和4.5分別增加到24.5、10.0和22.6，相應的網絡密度從0.001 48、0.000 86和0.000 23增加到0.018、0.006和0.002。由此判斷，將基于局部信息的節點相似性指標生成的相似節點集合加入到原始網絡中，可以有效地提高網絡密度和節點的平均度，使得模型能夠挖掘更全面的節點的結構特征信息。

基于以上分析，本文提出基于節點相似性的圖注意力網絡表示學習模型。首先，本文模型借助圖注意力網絡機制分別挖掘節點的局部結構信息（一階鄰居節點）和高階結構信息（基于節點相似性指標得到的相似節點）；然后將兩個視角得到的嵌入表示通過圖層面的注意力機制聚合在一起，以得到更加全面穩健的嵌入表示，并應用到節點分類任務中。

2 NSGAN模型

NSGAN模型的流程如圖1所示。在圖神經網絡學習過程中，首先要處理的是原始的網絡數據，為了減少噪聲數據的影響，靈活地考慮每一個鄰居節點的重要性，本文使用圖注意力網絡機制進行信息聚合，以得到更加穩健的特征表示；其次，為了更全面地挖掘節點的結構特征，本文采用多視角學習的思想，從節點的局部特征信息和節點的高階鄰居特征信息兩個角度學習節點的結構特征；最后，為了使模型在下游任務中能夠動態地調整每一個角度的節點嵌入的重要性，本文使用基于圖層面的注意力機制對兩個角度的節點嵌入進行聚合，進而在具體的下游任務中得到更加穩健且全面的節點嵌入表示。

NSGAN算法主要由三部分構成：a）相似網絡，通過節點相似性指標計算網絡中的相似節點，在相似度不為零的節點對之間構建新的邊，得到相似網絡，將節點的相似節點作為一階鄰居的補充，以解決網絡的稀疏性問題；b）節點層面的圖注意力機制模塊，通過使用深度學習中常用的注意力機制分別對原始網絡和相似網絡進行特征提取，學習節點的結構特征，得到相應網絡中的節點在低維嵌入空間中的向量表示；c）圖層面的注意力機制，為了區分兩個網絡生成的節點嵌入的重要性，本文設置一個圖層面的注意力機制將兩個網絡生成的節點嵌入聚合在一起，作為節點最終的嵌入表示。

2.1 構建相似網絡

圖注意力網絡將深度學習中的注意力機制引入到圖神經網絡領域并在不同任務上有廣泛應用［25］。GAT的核心思想是通過注意力機制給節點的一階鄰居及自身分配一個權重系數來區別不同鄰居節點的重要性，再聚合一階鄰居節點的特征信息作為該節點的嵌入表示。但是，很多真實世界中的網絡屬于無標度網絡，網絡中節點的度遵循長尾分布［26］，即存在許多節點的度很小，僅僅依靠節點的一階鄰居提取節點的結構特征具有局限性。此外，基于局部信息的節點相似性方法認為，網絡中兩節點之間的共同鄰接節點的數量越多，這兩個節點之間的相似性越強［27］，那么它們在嵌入空間中的嵌入表示應該更加接近，即這兩個節點屬于同一節點類型的可能性更大。為了在嵌入空間中保留更多網絡的結構特性，本文提出將局部信息的相似節點考慮到信息傳播的過程中以保留網絡中節點的相似性特征，使模型可以充分挖掘節點的潛在結構信息，生成更加準確的節點嵌入表示。

2.3 圖層面的嵌入表示

圖注意力網絡主要依賴節點的一階鄰居提取結構特征，但是在無標度網絡中，網絡中節點的度分布屬于冪律分布，一部分節點的度很大，具有很多鄰接節點，還有另外很多節點僅僅具有很少的鄰接節點，所以當使用基于局部信息的Jaccard指標計算節點的相似節點時，度小的節點將增加一部分相似節點作為鄰接節點，使得模型可以提取更充分的結構信息，而度大的節點將會增加大量的相似節點，不利于區分節點的結構特征。針對以上分析，本文采取以下兩種有效的解決策略：

a）為了減少利用Jaccard指標生成的相似節點中可能存在的噪聲節點，本文通過設置一個閾值對相似網絡的鄰接矩陣中的非零元素進行篩選，矩陣內每一個值是對應節點對的相似度，根據Jaccard指標的定義可知，值越小，兩節點之間的共同特征越少，即作為噪聲節點的可能性越大。通過設置一個合適的閾值，可以將相似度較低的節點對關系過濾，減少噪聲節點對模型提取節點的結構信息的影響。

b）將基于原始網絡得到的節點嵌入與基于相似網絡得到的節點嵌入通過一個圖層面的注意力機制聚合在一起，根據兩個網絡對應的節點嵌入在實際節點分類任務中的重要程度，訓練兩個網絡的權重系數。首先將兩個網絡對應的節點嵌入通過一個非線性激活函數進行轉換，然后將被轉換后的節點嵌入與圖層面的注意力權重向量的相似度作為該節點的嵌入表示的重要度，并且平均化處理網絡中所有的節點嵌入的重要度作為該網絡的整體重要度，計算過程如式（12）所示。

其中：a∈{1，2}；V是網絡的節點集合；q表示圖層面注意力機制的權重向量；W是可訓練的權重矩陣；b是偏置向量。在圖層面的注意力機制中所有參數在兩個網絡上是共享的。

得到每一個網絡的重要度之后，本文使用softmax函數進行標準化處理，得到每一個網絡對應的權重參數βa，表示相應的網絡在具體的節點分類任務中的重要性，計算過程如式（13）所示。

然后聚合兩個網絡的節點嵌入，得到最終的節點嵌入表示，節點i嵌入表示的計算過程如式（14）所示。

將本文模型輸出的節點嵌入應用到具體的半監督學習的節點分類任務中計算損失函數，最小化訓練集中真實標簽與預測值之間的交叉熵損失值，計算過程如式（15）所示。

其中：C是分類器的參數；L是訓練集節點的集合；Yl和Zl表示訓練集數據對應的真實標簽和該模型生成的預測值。基于訓練集數據，本文利用反向傳播方法對模型進行參數訓練，學習更加準確的節點嵌入表示。

3 實驗結果及分析

3.1 數據集

本文主要在三個經典的節點分類數據集上進行實驗，分別是Cora數據集［31］、Citeseer數據集和Pubmed數據集［26］，具體參數如表3所示。

a）Cora數據集有2 708個節點，5 429條邊，節點的初始特征維度是1 433，屬于無向網絡，每一個節點表示一篇科學論文，每一條邊表示這兩篇論文之間至少有一次引用關系，節點類型是7種。

b）Citeseer數據集有3 327個節點，4 732條邊，節點的初始特征維度是3 703，屬于無向網絡，每一個節點表示一篇科學論文，每一條邊表示兩篇論文之間存在引用關系，節點的類型是6種。

c）Pubmed數據集有19 717個節點，44 338條邊，節點的特征維度是500，屬于無向網絡，每一個節點表示一篇關于糖尿病的科學出版物，每一條邊表示論文之間存在引用關系，節點的類型是3種。

3.2 對比算法

本文將NSGAN與傳統的圖注意力網絡方法以及經典算法進行對比。主要使用以下對比算法：

a）DeepWalk算法［32］是經典的無監督學習方法，將隨機游走方法與word2vec方法結合在一起，通過隨機選擇一些頂點序列作為句子，將每一個節點看做一個詞語，借助自然語言處理的思路，挖掘網絡種潛在的結構信息，生成每一個節點的嵌入向量。

b）node2vec算法［33］在DeepWalk方法的基礎上進行改進，通過調整隨機游走權重的方法使模型在學習節點嵌入時考慮網絡的同質性和結構性，然后再利用word2vec模型生成節點的嵌入表示，最后利用生成的節點嵌入進行下游任務。

c）DGN算法［34］不僅考慮節點的局部特征，還考慮節點的全局特征信息。在一個視角上通過傳統的圖卷積網絡（GCN）學習節點的局部特征信息，在另一個視角下將DeepWalk得到的嵌入表示作為節點的初始嵌入表示，并通過GCN模型再次進行特征學習，最后將兩個視角的嵌入表示結合在一起作為節點的嵌入表示并應用到節點分類任務中。

d）圖注意力網絡（GAT）是經典的圖神經網絡算法，首次將深度學習中的注意力機制引入到圖神經網絡領域，并在節點分類等下游任務中取得令人矚目的結果。GAT屬于半監督學習，主要通過注意力機制為節點的一階鄰居節點分配權重系數，將鄰居節點的特征信息聚合在一起作為節點的嵌入表示。GAT方法將節點自身的屬性信息與節點的結構信息結合在一起，通過少量的標簽訓練后得到節點在低維嵌入空間中嵌入表示，最后將模型學習到的節點嵌入應用于各種下游任務中。

3.3 實驗設置

a）本文使用Jaccard指標計算相似網絡，在三個數據集上，本實驗設置篩選相似矩陣中的值的閾值都為0.1；b）在節點層面的圖注意力機制模塊上，本文設置兩層注意力網絡層M=2，多頭注意力機制的頭數為8，模型的輸入維度為節點的初始特征維度，隱藏層嵌入維度為8。在Cora和Citeseer數據集上，優化器Adam的學習率為0.005，衰減系數為0.000 5，dropout為0.6；在Pubmed數據集上，優化器Adam的學習率為0.01，衰減系數為0.001，dropout為0.4。因為本模型屬于半監督學習，訓練集的劃分比例分別為0.005、0.1和0.2，驗證集的數量與訓練集相同，其余數據為測試集數據。實驗過程中使用了提前停止策略，patience=100，防止模型過度擬合；每次實驗訓練次數epoch=300，在每一個數據集上重復十次實驗，保證實驗結果的有效性。在Python 3.6和PyTorch 1.9.1環境下對本文提出的NSGAN模型及對比算法進行實現。

對于對比算法，圖注意力網絡模型的參數與NSGAN的參數保持相同；DeepWalk和node2vec算法的參數設置與原始文獻中的相同，由于兩者都是無監督學習，本文將兩者學習的節點嵌入輸出到邏輯回歸分類器［35］中進行節點分類實驗，先將訓練集數據輸入到邏輯回歸分類器中進行參數學習，再對驗證集和測試集中的數據進行預測，測試節點嵌入的有效性。DGN算法中將DeepWalk模型部分的參數調整為對比算法的訓練集、驗證集和測試集的劃分比例與本文的NSGAT相同，避免其他因素對實驗結果的影響。

本實驗選擇的訓練集數據通過隨機抽取得到，每一種類型節點的比例存在差異，為了更加全面地評估實驗結果的準確性和有效性，本文使用加權平均處理每一種類型的樣本數量占總樣本數量的比例，將n分類問題分解為n個二分類問題，再對模型的預測結果進行評估。本實驗使用accuracy、weighted-precision、weighted-recall和weighted-F1四種評估指標對模型的實驗結果進行評估，保證實驗結果的可靠性和有效性。

3.4 實驗結果

本文提出的NSGAN在節點分類任務中的實驗結果如圖2所示，每一行表示同一個數據集在不同訓練集比例下的分類準確率，每一列表示在同一訓練集劃分比例下，NSGAN在三個不同數據集中的實驗結果；此外，圖2中NSGAN的實驗結果是加上閾值之后的實驗結果。每一個算法的實驗結果是十次重復實驗得到的平均值，保證了實驗的有效性。

從實驗結果可以看出，對于Cora數據集，當訓練集比例是0.05時，NSGAN的準確率為0.81，而DeepWalk、node2vec、DGN和GAT的準確率分別為0.69、0.72、0.80和0.78，本文方法比GAT的準確率提高約3%。當訓練集比例增加為0.1時，NSGAN和GAT的實驗結果的準確率分別是0.83和0.81;當訓練集比例增加為0.2時，NSGAN和GAT的準確率分別是0.86和0.84。很明顯，隨著訓練集樣本的增加，分類準確率不斷增加，NSGAN的準確率普遍高于GAT等經典的節點分類算法。在Citeseer和Pubmed數據集上，實驗結果與在Cora數據集上的結果相似，隨著訓練集樣本增加，分類準確率增加。在三個真實的網絡中，通過隨機選擇一定比例的訓練集數據進行多次重復實驗，結果表明，NSGAN的實驗結果優于傳統的圖注意力網絡方法及其他經典算法。

考慮到評價指標的影響，本文使用其他三種多分類評價指標，在三個數據集及對應的訓練集比例上的實驗結果如表4～6所示。

本文將每組實驗的最優結果加粗并加上下畫線。從表4可以看出，在Cora數據集上，當訓練集比例為0.05時，NSGAN的weighted-precision值為0.815，weighted-recall值為0.807，weighted-F1為0.806，比GAT等對比算法的實驗結果提高了2%左右。在其他兩個數據集中，NSGAN的分類性能普遍高于傳統的GAT等節點分類算法。

為了進一步分析本文NSGAN模型在節點分類任務上的實際效果，將三個數據集對應的節點的嵌入表示通過t-SNE方法［36］進行降維，轉換為二維向量表示，訓練集比例為0.2，每一種顏色表示相同標簽的節點，如圖3所示（見電子版）。轉換之后的節點特征表示在投影空間中表現出明顯的聚類現象，驗證了NSGAN模型在節點分類任務中的有效性和實用價值。

3.5 超參數的分析

本文基于Cora、Citeseer數據集對超參數的影響進行分析。考慮對相似網絡的鄰接矩陣加上一個閾值進行篩選，過濾掉相似度較低的關系對，避免因為度大的節點產生大量的相似節點而無法有效地捕獲節點的結構特征［37］。在兩個數據集上的實驗結果如圖4、5所示。從圖4、5中可以發現，閾值對實驗結果有顯著的影響。在兩個數據集上，當閾值從0逐漸增加到0.1時，在兩個數據集上的節點分類準確率也不斷提高。因為在模型提取節點的結構特征時，并不是簡單地增加節點的鄰接節點的數量便可以提取有效的結構特征，必須去掉噪聲節點，保留相關的鄰接節點以有效地捕獲節點潛在的結構特征。當閾值從0.1不斷增加時，過濾的相似節點越來越多，那么基于局部信息的節點相似性學習節點的嵌入表示帶來的有效影響將越來越小，直到將所有相似節點全部過濾，實驗結果返回到初始的狀態，圖中的水平線表示在其他參數相同時GAT的分類準確率。隨著閾值增大，NSGAN逐漸趨向于與傳統的GAT模型的實驗結果一致。

4 結束語

本文提出了一種新的節點分類模型，在傳統的圖注意力網絡的基礎上，考慮如何在嵌入空間中保存節點的相似性特征，使得模型學習到的節點嵌入更加準確。NSGAN模型將節點相似性與圖注意力網絡結合在一起，首先通過基于局部信息的節點相似性指標生成相似網絡，并在原始網絡和相似網絡上分別利用注意力機制學習節點的結構特征；然后利用一個圖層次的注意力機制來學習兩個網絡生成的節點嵌入在具體的節點分類實驗中的重要性；最后聚合在一起作為節點最終的嵌入表示。在三個真實數據集上對NSGAN進行節點分類實驗，結果表明，NSGAN比傳統的GAT等節點分類方法取得了更好的分類結果，證明了本文模型的有效性。在未來的研究中可考慮如何應用于異質網絡［38］上，將異質網絡按照一定的標準生成多個同質子網絡［39］，再利用本文提出的NSGAN捕獲網絡的結構信息，得到更準確的節點嵌入。

參考文獻：

［1］Scarselli F， Gori M， Tsoi A C， et al. The graph neural network mo-del［J］. IEEE Trans on Neural Networks， 2009，20（1）： 61-80.

［2］Kipf T N，Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］. （2017-02-22）. https：//doi.org/10.48550/arxiv.1609.02907.

［3］Velicˇkovic＇P，Cucurull G，Casanova A，et al. Graph attention networks［EB/OL］. （2018-02-04）. https：//doi.org/10.48550/arXiv.1710.10903.

［4］Zhao Jun，Zhou Zhou，Guan Ziyu，et al. IntentGC： a scalable graph convolution framework fusing heterogeneous information for recommendation［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2019： 2347-2357.

［5］Huang Qingbao，Wei Jielong，Cai Yi，et al. Aligned dual channel graph convolutional network for visual question answering［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2020： 7166-7176.

［6］Sun Mengying，Zhao Sendong，Gilvary C，et al. Graph convolutional networks for computational drug development and discovery［J］. Briefings in Bioinformatics， 2020，21（3）： 919-935.

［7］Zhang Muhan，Chen Yixin. Link prediction based on graph neural networks［C］//Proc of the 32nd International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2018： 5171-5181.

［8］Sun Jianyong，Zheng Wei，Zhang Qingfu，et al. Graph neural network encoding for community detection in attribute networks［J］. IEEE Trans on Cybernetics， 2022，52（8）： 7791-7804.

［9］Chaudhary A，Mittal H，Arora A. Anomaly detection using graph neural networks［C］//Proc of International Conference on Machine Learning，Big Data，Cloud and Parallel Computing. Piscataway，NJ： IEEE Press，2019： 346-350.

［10］Xiao Shun，Wang Shiping，Dai Yuanfei，et al. Graph neural networks in node classification： survey and evaluation［J］. Machine Vision and Applications， 2022，33（1）： article No.4.

［11］Zhu Xiaojin，Goldberg A B. Introduction to semi-supervised learning［M］//Synthesis Lectures on Artificial Intelligence and Machine Learning. Cham： Springer，2009.

［12］Wu Zonghan，Pan Shirui，Chen Fengwen，et al. A comprehensive survey on graph neural networks［J］. IEEE Trans on Neural Networks and Learning Systems， 2021，32（1）： 4-24.

［13］Hu Bin，Guo Kehua，Wang Xiaokang，et al. RRL-GAT： graph attention network-driven multilabel image robust representation learning［J］. IEEE Internet of Things Journal， 2022，9（12）： 9167-9178.

［14］Nicolson A，Paliwal K K. Masked multi-head self-attention for causal speech enhancement［J］. Speech Communication， 2020，125（12）： 80-96.

［15］Cokun M，Koyutürk M. Node similarity based graph convolution for link prediction in biological networks［J］. Bioinformatics， 2021，37（23）： 4501-4508.

［16］Liu Yong，Yang Susen，Xu Yonghui，et al. Contextualized graph attention network for recommendation with item knowledge graph［J］. IEEE Trans on Knowledge and Data Engineering， 2023，35（1）：181-195.

［17］Chen Lei，Cao Jie，Wang Youquan，et al. Multi-view graph attention network for travel recommendation［J］. Expert Systems with Applications， 2022，191（4）： 116234.

［18］Leskovec J，Adamic L A，Huberman B A. The dynamics of viral marketing［J］. ACM Trans on the Web， 2007，1（1）： 228-237.

［19］Wang Tao，Yin Liyan，Wang Xiaoxia. A community detection method based on local similarity and degree clustering information［J］. Phy-sica A： Statistical Mechanics and Its Applications， 2018，490（1）： 1344-1354.

［20］Pan Ying，Li Dehua，Liu Jianguo，et al. Detecting community structure in complex networks via node similarity［J］. Physica A： Statistical Mechanics and Its Applications， 2010，389（14）： 2849-2857.

［21］Real R，Vargas J M. The probabilistic basis of Jaccard’s index of similarity［J］. Systematic Biology，1996，45（3）： 380-385.

［22］Wang Xiao，Ji Houye，Shi Chuan，et al. Heterogeneous graph attention network［C］//Proc of World Wide Web Conference. New York： ACM Press，2019： 2022-2032.

［23］Kipf T N，Welling M. Variational graph auto-encoders［EB/OL］. （2016-11-21）. https：//doi.org/10.48550/arxiv.1611.07308.

［24］Velicˇkovic＇ P，Fedus W，Hamilton W L，et al. Deep graph infomax［EB/OL］. （2018-12-21）. https：//doi.org/10.48550/arxiv.1809.10341.

［25］Wang Yuke，Lu Ling，Wu Yang，et al. Polymorphic graph attention network for Chinese NER［J］. Expert Systems with Applications， 2022，203（10）： 117467.

［26］Sen P，Namata G，Bilgic M，et al. Collective classification in network data［J］. AI Magazine，2008，29（3）： 93-93.

［27］Li Shibao，Huang Junwei，Zhang Zhigang，et al. Similarity-based future common neighbors model for link prediction in complex networks［J］. Scientific Reports，2018，8（1）：17014.

［28］Totaro S，Hussain A，Scardapane S. A non-parametric softmax for improving neural attention in time-series forecasting［J］. Neurocomputing， 2020，381（3）： 177-185.

［29］Wu Yuchen，Li Weijiang. Aspect-level sentiment classification based on location and hybrid multi attention mechanism［J］. Applied Intelligence，2022，52（10）： 11539-11554.

［30］Xu Keyulu，Hu Weihua，Leskovec J，et al. How powerful are graph neural networks？［EB/OL］. （2019-02-22）. https：//doi.org/10.48550/arXiv.1810.00826.

［31］McCallum A K，Nigam K，Rennie J，et al. Automating the construction of Internet portals with machine learning［J］. Information Retrieval， 2000，3（2）： 127-163.

［32］Perozzi B，Al-Rfou R，Skiena S. DeepWalk： online learning of social representations［C］//Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2014： 701-710.

［33］Grover A，Leskovec J. node2vec： scalable feature learning for networks［C］//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2016： 855-864.

［34］Jin Taisong，Dai Huaqiang，Cao Liujuan，et al. DeepWalk-aware graph convolutional networks［J］. Science China Information Sciences，2022，65（5）：152104.

［35］Pranckevicˇius T，Marcinkevicˇius V. Comparison of naive Bayes，random forest，decision tree，support vector machines，and logistic regression classifiers for text reviews classification［J］. Baltic Journal of Modern Computing，2017，5（2）： 221-232.

［36］Van Der Maaten L，Hinton G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research，2008，9（11）： 2579-2605.

［37］Zhao Jianan，Wang Xiao，Shi Chuan，et al. Heterogeneous graph structure learning for graph neural networks［C］//Proc of the 35th AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2021： 4697-4705.

［38］石川，王睿嘉，王嘯. 異質信息網絡分析與應用綜述［J］. 軟件學報，2022，33（2）：598-621. （Shi Chuan，Wang Ruijia，Wang Xiao. Survey on heterogeneous information networks analysis and applications［J］. Journal of Software，2022，33（2）： 598-621.）

［39］胡寶芳. 融合多語義元路徑的異質網絡表示學習方法研究［D］. 濟南： 山東師范大學，2019. （Hu Baofang. Research on heterogeneous network representation learning method fusing multi-semantic meta-paths［D］. Jinan： Shandong Normal University，2019.）

收稿日期：2022-07-29；修回日期：2022-09-25 基金項目：江蘇省高等學校基礎學科（自然科學）研究面上項目（22KJD120002）

作者簡介：劉淵（1997-），男，河南商丘人，碩士研究生，主要研究方向為圖神經網絡；趙紫娟（1995-），女，甘肅景泰人，博士研究生，主要研究方向為超圖神經網絡；楊凱（1987-），男（通信作者），山東泰安人，講師，博士，主要研究方向為圖神經網絡、網絡科學（yangk@fudan.edu.cn）．