基于自我監督學習策略的層智能圖卷積網絡

摘 要： 為了解決當前圖卷積網絡需要依賴大型數據集，從而導致時間和空間復雜度上升問題，提出了基于自我監督學習策略的層智能圖卷積網絡（RRLFS-L-GCN）。首先，通過在層智能圖卷積網絡（layer-wise graph convolutional network，L-GCN）中添加多任務機制以提高算法的泛化能力；然后，設計一種隨機刪除固定步長邊（aandomly remove links with a fixed step，RRLFS）的自我監督學習策略，從而提出基于自我監督學習策略的層智能圖卷積網絡算法；最后，通過邊預測驗證RRLFS-L-GCN的性能。實驗結果表明，該算法的識別率最高可達97.13%。對于Cora測試集，該算法所得識別準確率比未改進的層智能圖卷積網絡算法提高了6.73%。對于PubMed測試集，該算法所得識別準確率比未改進的層智能圖卷積網絡算法提高了8.13%。與圖卷積網絡相比，在Citeseer數據集上，識別準確率提高了18.43%。

關鍵詞： 圖卷積網絡； 自我監督學習策略； 依賴大型數據集； 層智能； 多任務機制； 邊預測

中圖分類號： TP183"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-023-0128-06

doi：10.19734/j.issn.1001-3695.2021.06.0250

Layer-wise graph convolutional network based on self-supervised learning strategy

Sun Feng1， Yang Guanci2a， Ajith Kumar V3， Zhang Ansi2b

（1.Experimental Teaching Center for Liberal Arts， Zhejiang Normal University， Jinhua Zhejiang 321004， China; 2.a.Key Laboratory of Advanced Manufacturing Technology of Ministry of Education， b.School of Mechanical Engineering， Guizhou University， Guiyang 550025， China; 3.The School of AI， Bangalore 560002， India）

Abstract： To solve the problem that the current graph convolutional network needs to rely on large datasets， which leads to increased time and space complexity， this research proposed a layer-wise graph convolutional network based on self-supervised learning strategy（RRLFS-L-GCN）.Firstly， it added an multi-task mechanism into the layer-wise graph convolutional network（layer-wise graph convolutional network， L-GCN）to improve the generalization ability of the algorithm.Then， it designed a self-supervised learning strategy that randomly removed fixed-step links （randomly remove links with a fixed step，RRLFS）.Therefore， it proposed a layer-wise graph convolutional network algorithm based on a self-supervised learning strategy.Finally， it used link prediction which was to verify the performance of RRLFS-L-GCN. Experimental results show that this algorithm has the highest recognition rate， up to 97.13%. For the Cora testset， this algorithm obtains 6.73% accuracy higher than that of the unimproved layer-wise graph convolutional network algorithm. For the PubMed testset， this algorithm obtains 8.13% accuracy higher than that of the unimproved layer-wise graph convolutional network algorithm. Compared with the graph convolutional network， it improves the recognition accuracy rate on the Citeseer dataset ， which is 18.43%.

Key words： graph convolutional network（GCN）; self-supervised learning strategy; rely on large dataset； layer-wise; multi-task mechanism; link prediction

0 引言

圖卷積網絡（graph convolutional network，GCN）因其在動作識別、語義分割、自然語言處理、圖像分類和數據挖掘等領域的成功應用而備受關注［1～6］。GCN作為卷積神經網絡（convolutional neural network，CNN）的一種拓展［3］，用來處理復雜的圖結構數據，通過避開不必要的數據和減少高損耗的操作訓練出高效的模型成為當前的研究熱點［7，8］。GNN在數據挖掘領域也取得非常大的成功，特別是在網格狀數據的挖掘領域，例如以圖像作為挖掘對象。針對圖像的鄰居單元既不固定又無序的問題，文獻［9］提出了LGCL（learnable graph convolutional layer）模型。LGCL基于排序后結果去自動選擇合適的鄰居節點，從而實現從圖結構數據到網格結構數據的轉變。為了能夠高效地挖掘有價值的結構數據，文獻［10］提出了DGCN（dual graph convolutional network）方法。DGCN是一種為了圖結構數據設計的半監督學習方法，兼容了數據的本地一致性和全局一致性。為了提高GCN的魯棒性，文獻［11］提出了RGCN（robust graph convolutional network）模型。在每一個卷積層中，RGCN放棄了使用節點作為矢量，而是使用高斯分配作為節點隱藏單元的表示方法。

當前一些學者就提高GCN的性能，提出了很多GCN變異算法。DGCN［12］（directed graph convolutional network）使用了一階和二階鄰近的方法，不僅保持了傳統無向圖的連接屬性，而且拓展了卷積操作的適用范圍。針對GCN增加內核以及使用深度網絡結構會導致計算復雜度增加的問題，Multi-hop［13］（multi-hop convolutional network on weighted graphs）被提出。Multi-hop是一種權重圖的多跳卷積方法。針對當前GCN忽略了節點間群體結構關系的問題，文獻［14］提出了CE-GCN［14］（community enhanced graph convolutional network）方法。CE-GCN是一種群體增強的圖卷積網絡，不僅可以通過整合鄰居節點的信息來學習節點的表現，還會整合群體的信息。AP-GCN［15］（adaptive propagation GCN）是一種自適應傳播圖卷積網絡。AP-GCN的每個節點可以自動選擇傳播步驟的數量。文獻［16］提出了GAT［16］（graph attention network），解決了隱藏的自我注意卷積層的問題。在GAT模型中，無須任何費時的矩陣操作或者預置的圖結構數據，就可以指定不同的權重給不同的鄰居節點。

雖然這些變異的GCN算法都提高了GCN的性能，但是GCN仍然存在以下不足［1，17，18］：a）GCN的卷積層數較少，一般不超過三層，如果超過三層，時間復雜度和空間復雜度將會上升;b）目前大多數GCN輸入的都是靜態的和訓練好的鄰接矩陣，導致這樣的結構不適用于動態網絡結構和需要大規模訓練的場景;c）GCN需要為訓練、驗證和測試三個階段輸入鄰接矩陣，這個鄰接矩陣只有一個圖結構數據會在訓練階段被使用;d）GNN和GCN在網絡訓練中需要大量有標記的數據。

半監督學習利用數據集中無標記數據來幫助標記數據協同網絡訓練［19］，文獻［20］提出的semi-supervised classification GCN就是一種基于GCN的半監督分類方法。與半監督學習不同，自我監督學習（self-supervised learning，SSL）因其不受標記數據的約束， 被大量應用在自然語言處理、圖像降噪和計算機視覺等領域。為了區分圖與圖之間子圖的性能表現，文獻［21］提出了一種自我監督的共同信息機制。多階段自我監督學習（multi-stage self-supervised，M3S）［21］被用于提高具有少量標簽節點的圖卷積網絡。M3S通過深度群聚機制實現多階段訓練框架。文獻［22］的研究成果表明，在GCN中使用合適的自我監督學習任務，可以提高GCN的性能。文獻［17］提出了隨機刪除邊（randomly removing link，RRL）和隨機補全特征（randomly covering feature，RCF）兩種自我監督學習策略，從而生成了一種基于自我監督學習策略訓練GCN模型。為了說明模型的高效性，文獻［17］將模型應用于GCN和GAT中，分別提出了GCN+SSL和GAT+SSL方法。然而模型在Cora數據集［23］的最高識別準確率僅84.53%。針對GCN的卷積層數超過三層，性能將會下降的問題， 文獻［24］在CVPR2020中提出了層智能圖卷積網絡算法（layer-wise graph convolutional network，L-GCN）。作為一種高效的GCN，L-GCN不受層數的限制，大大縮短了訓練的時間和空間復雜度，但是在部分數據集的識別準確率不是特別理想，例如在Cora數據集的識別率僅84.70%。

文獻［25］在圖像修復中，使用隨機區塊（random block，Rb）策略處理輸入到模型的圖像。本文受到Rb策略的啟發，提出一種隨機刪除固定步長邊（randomly remove links with a fixed step，RRLFS）的自我監督學習策略。針對上述關于GCN仍然存在的不足，受文獻［17，22］研究成果的啟發，本文提出了一種基于自我監督學習策略的層智能圖卷積網絡算法（randomly remove links with a fixed step L-GCN，RRLFS-L-GCN）。首先在層智能圖卷積網絡中添加多任務機制以提高算法的泛化性能，接著使用RRLFS策略對數據集進行處理，然后將處理后的數據集輸入到改進的L-GCN中，最后通過邊預測驗證RRLFS-L-GCN的性能。

2 實驗與分析

2.1 實驗環境

為了算法的性能，在Ubuntu 18.04操作系統安裝TensorFlow 1.13.1，并使用Python編程語言和PyTorch 1.3.1框架實現RRLFS-L-GCN。使用的主機配置如下：Xeon Silver 4210R CPU@2.4 GHz，GPU為NVIDIA RTX 2080Ti 12 GB，內存為62 GB。

2.1.1 數據集

測試數據集包括Cora［23］、PubMed［26］和Citeseer［27］。

Cora數據集有2 708個節點，5 429條邊，每個節點有1 433個特征維度，140個訓練節點，500個驗證節點，1 000個測試節點，7個分類范疇。

PubMed數據集有19 717個節點，44 338條邊，每個節點有500個特征維度，60個訓練節點，500個驗證節點，1 000個測試節點，3個分類范疇。

Citeseer數據集有3 327個節點，4 732條邊，每個節點有3 327個特征維度，120個訓練節點，500個驗證節點，1 000個測試節點，6個分類范疇。

2.1.2 實驗配置

本文部分實驗配置和文獻［24］保持一致，實驗配置描述如下：使用的優化器為Adam，學習率的大小為0.001。本文通過復現文獻［24］的實驗發現，當隱藏單元的大小設置為270時，文獻［24］的L-GCN模型在Cora數據集的識別準確率提高了0.30%。因此，本文將隱藏單元的大小設置為270。

在RRLFS-L-GCN的實驗中，設置卷積層數為2，隱藏單元的大小設置為270。與文獻［17］一致，RRLFS-L-GCN訓練批次的大小設置為5 000。在L-GCN的實驗中，通過實驗發現，當訓練批次的大小設置為5 000時，L-GCN識別準確率最高下降3%，因此將訓練批次的大小與文獻［24］保持一致，在Cora數據集中設置為160，在PubMed數據集中設置為200。與文獻［17］一致，每次實驗都執行10次，然后選取最好的識別準確率作為該次實驗的最終結果。

2.2 實驗結果分析

2.2.1 實驗結果

刪除10%的邊，步長分別設置為6、5、4、3、2和1，使用Cora、Citeseer和PubMed三個數據集進行實驗，實驗結果如表1所示，其中粗體表示最高的識別準確率。

由表1可知，在Citeseer和PubMed數據集上，當步長設置為1時，識別準確率最高，分別為88.76%和97.13%。在Cora數據集，當步長設置為6時，識別準確率最高，識別準確率為91.73%。在Cora數據集上，當步長設置為2時，識別準確率最低，識別準確率為88.30%。在Citeseer數據集，當步長設置為2時，識別準確率最低，識別準確率為83.53%。在PubMed數據集，當步長設置為2時，識別準確率最低，識別準確率為96.51%。為了尋找表1中最高識別準確率產生的規律，本文描繪了表1中最高識別準確率對應的loss值，如圖3所示。

由圖3（a）可知，RRLFS-L-GCN在Cora和Citeseer數據集中獲取最高識別準確率時的epoch設置為1 000。由圖3（a）還可以發現，RRLFS-L-GCN在Cora數據集的loss值均大于在Citeseer中的loss值。在Cora數據集中，RRLFS-L-GCN的loss值呈現“先減少，然后增加，最后減少”的規律性變化。在Citeseer數據集中，RRLFS-L-GCN的loss值呈現一次“先減少，后增加，最后減少”的規律性變化。由圖3（b）可知，RRLFS-L-GCN在PubMed數據集中，獲取最高識別準確率對應的epoch為7 000。RRLFS-L-GCN在PubMed數據集中的loss值呈現“先減少，然后增加，最后減少”的規律性變化。

為了減少其他參數的干擾，本文將RRLFS-L-GCN隱藏單元的大小與L-GCN隱藏單元的大小保持一致，設置為64。除了設置隱藏單元的大小，本文還將兩者的卷積層設置為2。統計RRLFS-L-GCN運行時消耗的GPU內存大小，如表2所示。

由表2可知，在Cora數據集中，epoch從200增加到5 000，L-GCN消耗的GPU內存為1 147 MB，RRLFS-L-GCN消耗的GPU內存大小一直穩定在4 MB。與L-GCN相比，RRLFS-L-GCN消耗的內存減少了1 143 MB。在PubMed數據集中，epoch從200增加到6 000，L-GCN內存消耗一直穩定在1 145 MB，RRLFS-L-GCN內存消耗仍然穩定在4 MB。與L-GCN相比，RRLFS-L-GCN內存減少了1 141 MB。

2.2.2 與先進方法的對比實驗

為驗證RRLFS-L-GCN算法的識別準確率，基于Cora、PubMed和Citeseer數據集分別測試識別準確率。與先進方法的對比實驗如表3所示，其中粗體表示在先進方法中最高的識別準確率，“/”表示該模型沒有提供對應數據集的結果。

由表3可知：a）在Cora、PubMed和Citeseer數據集上，RRLFS-L-GCN模型識別準確率分別為 91.73%、97.13%和88.76%;b）RRLFS-L-GCN模型識別準確率相較于L-GCN模型，在Cora數據集上提高了6.73%，在PubMed數據集上提高了8.13%；c）RRLFS-L-GCN模型相較于GCN模型，在Cora、PubMed和Citeseer數據集上識別準確率分別提高了10.23%、18.13%和18.43%；d）RRLFS-L-GCN模型相較于AP-GCN模型，在Cora、PubMed和Citeseer數據集上識別準確率分別提高了5.80%、16.99%和12.40%；e）RRLFS-L-GCN模型相較于DGCN［10］模型，在Cora、PubMed和Citeseer數據集上識別準確率分別提高了8.23%、17.13%和16.16%；f）RRLFS-L-GCN模型相較于LGCL模型，在Cora、PubMed和Citeseer數據集上識別準確率分別提高了7.93%、17.43%和15.16%。

本文的RRLFS-L-GCN模型與所有的先進方法相比，在Cora數據集上的識別準確率增加了5.80%～10.23%，在PubMed數據集上的識別準確率增加了8.13%～18.33%，在Citeseer數據集上的識別準確率增加了12.40%～21.06%。

由于本模型在特征訓練的過程中，無須任何標記的信息，而是從圖結構數據中直接獲取信息。所以本文的RRLFS-L-GCN模型優于表中現有模型。

2.3 消融學習

2.3.1 網絡層數對比實驗

為了探究不同卷積層對模型性能的影響，本文將步長設置為1，卷積層的大小依次設置為2、3和4，在Cora、PubMed和Citeseer三個數據集上實驗，測試基準模型L-GCN和RRLFS-L-GCN模型的識別準確率，實驗結果如圖4所示。

由圖4可知，在Cora和PubMed數據集中，隨著卷積層逐漸增加，RRLFS-L-GCN的識別準確率一直大于L-GCN。在Cora和PubMed數據集中，當卷積層數為2時，RRLFS-L-GCN和L-GCN的識別準確率最高。在Cora數據集中，L-GCN和RRLFS-L-GCN都在第三層取得最低識別準確率。在PubMed數據集中，L-GCN和RRLFS-L-GCN都在第四層取得最低識別準確率。在Citeseer數據集中，隨著卷積層數不斷增加，RRLFS-L-GCN的識別準確率依次減小。

2.3.2 訓練時期對比實驗

為了獲取訓練時期對識別準確率的影響，本文將步長設置為1，刪除比率設置為10%，在PubMed、Citeseer和Cora三個數據集下進行實驗，實驗結果如表4所示。其中粗體表示在對應數據集下取得最高識別準確率。

由表4可知，在PubMed數據集中，當epoch從120增長到7 000時，識別準確率逐漸增加。在epoch為7 000時，獲得最高識別準確率，識別準確率為97.13%。當epoch大于7 000時，識別準確率減小。當epoch為120時，最小識別準確率為94.15%，最大識別準確率與最小識別準確率相差2.98%。

在Citeseer數據集中，當epoch從60增長到200時，識別準確率依次減少。當epoch設置為200時，識別準確率最小，最小值為78.41%。當epoch取1 000時，識別準確率最大，最大值為88.76%。最大值與最小值相差10.35%。

在Cora數據集中，當epoch設置為120時，識別準確率最小，最小值為83.59%。當epoch從120增長到200時，識別準確率依次增加。當epoch從200增加到240時，識別準確率減小。當epoch取1 000時，識別準確率取得最大值，最大值為90.70%。最大識別準確率與最小識別準確率相差7.11%。

為了更好地展示表4產生的過程，本文描繪了每個epoch的損失值，如圖5所示。

由圖5（a）可知，在PubMed數據集中，隨著epoch不斷增加，RRLFS-L-GCN-Config1和RRLFS-L-GCN-Config2的loss值整體逐漸下降。當epoch從20增加到25以及從90增加到100時，RRLFS-L-GCN-Config2的loss值快速上升。當epoch從20增加到25、從80增加到85以及從110增加到120時，RRLFS-L-GCN-Config1的loss值逐漸增加。當epoch從0增加到1 000時，RRLFS-L-GCN-Config3的loss值整體上依次遞減。當epoch從90增加到100以及從800增加到810時，RRLFS-L-GCN-Config3的loss值快速上升。從圖5（a）還可以發現，RRLFS-L-GCN-Config4、RRLFS-L-GCN-Config5和RRLFS-L-GCN-Config6的loss值整體呈現下降的趨勢。與RRLFS-L-GCN-Config1、RRLFS-L-GCN-Config2和RRLFS-L-GCN-Config3不同，epoch每增加1 000時，RRLFS-L-GCN-Config4、RRLFS-L-GCN-Config5和RRLFS-L-GCN-Config6的損失值呈現規律性的急速上升然后下降。

由圖5（b）可知，在Citeseer數據集中，隨著epoch不斷增加，RRLFS-L-GCN-Config1、RRLFS-L-GCN-Config2、RRLFS-L-GCN-Config3和RRLFS-L-GCN-Config4的loss值整體逐漸下降。與之不同的是，當epoch從450增加到500時，RRLFS-L-GCN-Config5的loss值逐漸上升;當epoch從500增加到600時，RRLFS-L-GCN-Config5的loss值逐漸下降。當epoch從1 000增加到1 800時，RRLFS-L-GCN-Config6的loss值逐漸下降;當epoch從1 800增加到1 900時，RRLFS-L-GCN-Config6的loss值逐漸上升。當epoch從1 900增加到5 000時，RRLFS-L-GCN-Config6的損失值逐漸下降。

由圖5（c）可知，在Cora數據集中，隨著epoch不斷增加，RLFS-L-GCN-Config1、RRLFS-L-GCN-Config2和RRLFS-L-GCN-Config3和RRLFS-L-GCN-Config4的loss值逐漸下降。與之不同，RRLFS-L-GCN-Config5和RRLFS-L-GCN-Config6的loss值呈現規律性的上升和下降。

由圖5可以總結如下規律，當epoch大于等于1 000時，RRLFS-L-GCN的loss值呈現“先下降，然后上升，最后下降”的規律性變化;當epoch小于1 000時，RRLFS-L-GCN的loss值逐漸下降。

2.3.3 刪除比率對比實驗

為了獲取刪除比率對識別準確率的影響，本文將步長設置為1，將刪除比率依次設置為10%、20%、30%、40%、50%和60%，在Cora和Citeseer數據集下進行實驗，實驗結果如圖6所示。由圖6可知，隨著刪除比率的增加，在Cora和Citeseer數據集下，識別準確率依次下降。在Cora和Citeseer數據集下，當刪除比率取10%時，識別準確率最高。在Cora數據集下的最高識別準確率大于在Citeseer數據集下的最高識別準確率。

2.3.4 步長對比實驗

為了獲取不同步長對準確率的影響，在Cora、Citeseer和PubMed數據集下，將刪除比率設置為10%，訓練時期分別設置為1 000、1 000和7 000，實驗結果如圖7所示。

由圖7可知， 在Cora數據集中，當步長取2時，識別準確率最小;當步長取6時，識別準確率最大。在Citeseer數據集中，當步長取2時，識別準確率最小;當步長取1時，識別準確率最大。在PubMed數據集中，當步長取1時，識別準確率最大;當步長取2時，識別準確率最小。

3 結束語

本文提出了一種基于自我監督學習策略的層智能圖卷積網絡算法，通過設計一種隨機刪除固定步長邊的自我監督學習策略和引入多任務機制，讓層智能圖卷積網絡算法的性能得到提升。通過邊預測這個自我監督學習任務，驗證本文模型的性能。本文方法在三個大規模數據集上得到驗證，不但在強實驗基準上進一步提升了識別的性能，而且與層智能圖卷積網絡算法進行比較時，在識別準確率和GPU內存消耗這兩個評價指標上明顯更優。

參考文獻：

[1]Zhang Si，Tong Hanghang，Xu Jiejun，et al.Graph convolutional networks： a comprehensive review［J］.Computational Social Networks，2019，6（1）：1-23.

［2]曹毅，劉晨，黃子龍，等.時空自適應圖卷積神經網絡的骨架行為識別［J］.華中科技大學學報：自然科學版，2020，48（11）：5-10.（Cao Yi，Liu Chen，Huang Zilong，et al. Skeleton-based action recognition based on spatio-temporal adaptive graph convolutional neural-network［J］.Journal of Huazhong University of Science and Technology：Natural Science Edition，2020，48（11）：5-10.）

［3]潘少明，王玉杰，種衍文.基于圖卷積神經網絡的跨域行人再識別［J］.華中科技大學學報：自然科學版，2020，48（9）：44-49.（Pan Shaoming，Wang Yujie，Chong Yanwen. Cross-domain person re-identification using graph convolutional networks［J］.Journal of Huazhong University of Science and Technology：Natural Science Edition，2020，48（9）：44-49.）

［4]林景棟，吳欣怡，柴毅，等.卷積神經網絡結構優化綜述［J］.自動化學報，2020，46（1）：24-37.（Lin Jingdong，Wu Xinyi，Chai Yi，et al.Structure optimization of convolutional neural networks： a survey［J］.Acta Automatica Sinica，2020，46（1）：24-37.）

［5]Kumar V A，Ali H，Sun Feng，et al.Perception of deep multi tower head network on person attribute recognition［C］//Proc of the 4th International Conference on Video and Image Processing.2020：122-127.

［6]Sun Feng，Yang Guanci，Zhang Ansi，et al.Circle-U-Net： an efficient architecture for semantic segmentation［J］. Algorithms，2021，14（6）：159.

［7]Wang Yue，Jiang Ziyu，Chen Xiaohan，et al.E2-train：training state-of-the-art CNNs with over 80% energy savings［EB/OL］.（2019-10-29）.https：//arxiv.org/abs/1910.13349.

［8]You Haoran，Li Chaojian，Xu Pengfei，et al.Drawing early-bird tickets：towards more efficient training of deep networks［EB/OL］.（2019）.https：//arxiv.org/abs/1909.11957.

［9]Gao Hongyan，Wang Zhengyang，Ji Shuiwang. Large-scale learnable graph convolutional networks［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM Press，2018：1416-1424.

［10]Zhuang Chenyi，Ma Qiang. Dual graph convolutional networks forgraph-based semi-supervised classification［C］//Proc of World Wide Web Conference. 2018： 499-508.

［11]Zhu Dingyuan，Zhang Ziwei，Cui Peng，et al. Robust graph convolutional networks against adversarial attacks［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM Press，2019： 1399-1407.

［12]Tong Zekun，Liang Yuxuan，Sun Changsheng，et al. Directed graph convolutional network［EB/OL］.（2020）.https：//arxiv.org/abs/2004.13970.

［13]Zhu Qikui，Du Bo，Yan Pingkun.Multi-hop convolutions on weighted graphs［EB/OL］.（2019-11-12）.https：//arxiv.org/abs/1911.04978.

［14]Liu Yanbei，Wang Qi，Wang Xiao，et al.Community enhanced graph convolutional networks［J］.Pattern Recognition Letters，2020，138：462-468.

［15]Spinelli I，Scardapane S，Uncini A.Adaptive propagation graph convolutional network［J］.IEEE Trans on Neural Networks and Lear-ning Systems，2021，32（10）：4755-4760.

［16]Velicˇkovic＇ P，Cucurull G，Casanova A，et al.Graph attention networks［EB/OL］.（2017-10-30）.https：//arxiv.org/abs/1710.10903.

［17]Zhu Qikui，Du Bo，Yan Pingkun.Self-supervised training of graph convolutional networks［EB/OL］.（2020-06-03）.https：//arxiv.org/abs/2006.02380.

［18]孔瑋，劉云，李輝，等.基于圖卷積網絡的行為識別方法綜述［J］.控制與決策，2021，36（7）：1537-1546.（Kong Wei，Liu Yun，Li Hui，et al. A survey of action recognition methods based on graph convolutional network［J］. Control and Decision，2021，36（7）：1537-1546.）

［19]王憲保，肖本督，姚明海.一種結合類激活映射的半監督圖像分類方法［J/OL］.小型微型計算機系統.［2021-06-10］.http：//kns.cnki.net/kcms/detail/21.1106.TP.20210521.1708.028.html.（Wang Xianbao，Xiao Bendu，Yao Minghai.Semi-supervised image classification method combined with class activation mapping［J/OL］. Journal of Chinese Computer Systems.［2021-06-10］.http：//kns.cnki.net/kcms/detail/21.1106.TP.20210521.1708.028.html.）

［20]Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks［EB/OL］.（2016-09-09）.https：//arxiv.org/abs/1609.02907.

［21]Sun Ke，Lin Zhouchen，Zhu Zhanxing.Multi-stage self-supervised learning for graph convolutional networks on graphs with few labeled nodes［J］.Proc of the AAAI Conference on Artificial Intelligence，2020，34（4）：5892-5899.

［22]You Yuning，Chen Tianlong，Wang Zhangyang，et al.When does self-sup-ervision help graph convolutional networks？［C］//Proc of International Conference on Machine Learning.2020：10871-10880.

［23]Bojchevski A，Günnemann S.Deep Gaussian embedding of graphs： unsupervised inductive learning via ranking［EB/OL］.（2017-07-12）.https：//arxiv.org/abs/1707.03815.

［24]You Yuning，Chen Tianlong，Wang Zhangyang，et al.L2-GCN：layer-wise and learned efficient training of graph convolutional networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020： 2127-2135.

［25]Pathak D，Krahenbuhl P，Donahue J，et al.Context encoders： feature learning by inpainting［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：2536-2544.

［26]Dernoncourt F，Lee J Y. PubMed 200k RCT： a dataset for sequential sentence classification in medical abstracts［C］//Proc of the 8th International Joint Conference on Natural Language Processing.2017：308-313.

［27]Namata G，London B，Getoor L，et al.Query-driven active surveying for collective classification［C］//Proc of the 10th International Workshop on Mining and Learning with Graphs.2012.