基于非魯棒特征的圖卷積神經網絡對抗訓練方法

摘要：圖卷積神經網絡可以通過圖卷積提取圖數據的有效信息，但容易受到對抗攻擊的影響導致模型性能下降。對抗訓練能夠用于提升神經網絡魯棒性，但由于圖的結構及節點特征通常是離散的，無法直接基于梯度構造對抗擾動，而在模型的嵌入空間中提取圖數據的特征作為對抗訓練的樣本，能夠降低構造復雜度。借鑒集成學習思想，提出一種基于非魯棒特征的圖卷積神經網絡對抗訓練方法VDERG，分別針對拓撲結構和節點屬性兩類特征，構建兩個圖卷積神經網絡子模型，通過嵌入空間提取非魯棒特征，并基于非魯棒特征完成對抗訓練，最后集成兩個子模型輸出的嵌入向量作為模型節點表示。實驗結果表明，提出的對抗訓練方法在干凈數據上的準確率平均提升了0.8%，在對抗攻擊下最多提升了6.91%的準確率。

關鍵詞：圖卷積神經網絡；集成學習；非魯棒特征；對抗訓練

中圖分類號：TP183文獻標志碼：A

文章編號：1001-3695（2022）08-006-2278-06

doi：10.19734/j.issn.1001-3695.2022.01.0012

Graph neural networks adversarial training with non-robust features

Cheng Qi，Zhu Hongliang，Xin Yang

（Cyber Security，Beijing University of Posts amp; Telecommunications，Beijing 100876，China）

Abstract：Graph convolutional neural networks can distill the effective information of graph data through graph convolution.However，the graph convolutional neural network shows vulnerability to adversarial attack，which leads to the degradation of model performance.Adversarial training can be used to improve the robustness of neural networks.However，since the structure and node features of graphs are usually discrete，it is impossible to directly construct adversarial examples based on gradients.Therefore，distilling feature of graph data in the embedding space of models as adversarial examples can reduce the complexity of adversarial training.By using the idea of the idea of ensemble learning，this paper innovatively proposed an adversarial trai-ning method based on non-robust features distillation for graph convolution network，VDERG.The method constructed two graph convolution neural networks as sub models from the two types of features of topology and node attributes respectively.Sub models distilled non-robust features through embedding space and used these features to implement adversarial training.Finally，the method combined the embedding given by the two sub models as the nodes’ vectors.Experimental results show that the adversarial training strategy improves the accuracy of graph convolution neural networks in clean data by 0.8% on average，and improves the accuracy by 6.91% at most under adversarial attack.

Key words：graph convolutional neural network；ensemble learning；non-robust features；adversarial training

0引言

圖作為一種具有普遍性的數據結構，可以廣泛用于表示不同領域中的系統，例如經濟領域（交易網絡）、社會科學領域（社交網絡和引文網絡）、自然科學領域（分子結構）和知識圖等。近年來圖神經網絡（graph neural network，GNN）在學習圖表示方面取得了令人矚目的成果。其中，圖卷積神經網絡（graph convolutional neural network，GCN）通過利用邊的信息對節點信息進行聚合生成節點表示，在圖信息的提取方面效果顯著。從圖中提取出的特征可以用于節點分類、鏈路預測、圖分類等任務，在數據挖掘、推薦系統等領域有著廣泛的應用。

已有研究證明缺乏魯棒性的神經網絡容易受到對抗攻擊的影響，即加入了微小擾動的對抗樣本，會大大降低神經網絡的模型表現[1]。Dai等人[2]發現隨機丟棄節點間的邊就能對圖神經網絡造成較好的攻擊效果。GCN的脆弱性可能在其應用領域導致安全問題，例如在信用檢測系統中，欺詐者可以通過與幾個高信用用戶偽裝多個交易，從而在模型檢測中獲得“高信用用戶”的虛假結果[2]，因此有大量研究針對提升GCN魯棒性展開。

對抗訓練[3]被廣泛用于提升神經網絡的魯棒性。通過在模型訓練過程中加入對抗樣本，使神經網絡適應對抗擾動，從而提升對抗攻擊下的模型表現。現有針對GCN的對抗訓練方法研究主要集中于針對單個模型構造擾動正則項或修改圖結構，少有研究從集成的角度借助多個分類器的學習能力提升模型的魯棒性。

對抗攻擊的特征之一是在神經網絡間具有泛化性，而通過集成多個神經網絡模型分別進行對抗訓練，能夠使總體模型學習到更全面的特征信息，從而提升模型魯棒性。文獻[4，5]指出，基于集成學習的防御算法效果依賴于子模型的多樣化。只有使子模型分別學習到不同的特征，才能避免對抗擾動在子模型間遷移，有效提升總體模型的防御能力。考慮到圖數據的特征，Wu等人[6]構造了包含兩個子模型的集成模型，分別針對拓撲結構信息和節點屬性信息進行模型訓練，以此提升GNN魯棒性。但僅僅通過在結構信息和屬性信息上分開訓練子模型，沒有考慮對抗攻擊的攻擊特點，在結構信息和屬性信息都受到攻擊的情況下仍可能產生較大的預測偏差。

對神經網絡進行模型訓練本質上是從圖數據中學習特征的過程，而學習到的有利于提升模型表現的特征會對對抗擾動表現出不一樣的敏感度，基于不同的對抗擾動敏感度，可以將這些特征分為魯棒特征和非魯棒特征兩類。數據中的魯棒特征即使在對抗攻擊下，仍能保持穩定性，幫助模型學習正確的有效信息，而非魯棒特征則會被對抗擾動竄改，使模型在訓練過程中學習錯誤的信息，進而導致模型表現降低。模型學習到的非魯棒特征導致了模型的脆弱性，但目前基于非魯棒特征進行對抗訓練的研究都針對圖像數據展開，鮮有研究利用圖數據上的非魯棒特征提升模型魯棒性。

基于上述問題，本文旨在探索圖數據中的非魯棒特征對于提升GCN模型魯棒性的作用，并結合圖數據中的結構信息和節點屬性信息，給出非魯棒特征定義及提取方法，并且基于GCN從圖數據中學習到的非魯棒特征以及集成學習方法，提出一套基于非魯棒特征的魯棒圖卷積神經網絡集成模型（vulnerabilities distillation of ensembles for robust graph neural networks，VDERG）。VDERG利用圖卷積層后的嵌入向量，分別從結構信息和屬性信息中提取非魯棒特征，并以此對兩個子模型分別進行對抗訓練，使兩個子模型分別適應節點關系和節點屬性上的對抗擾動，然后集成兩個子模型的節點嵌入向量，輸入映射函數作為最終預測結果。實驗證明本文提出的防御算法能夠有效提高圖卷積神經網絡模型的魯棒性。

本文的主要貢獻如下：a）定義了圖數據上的非魯棒特征，并結合圖數據特點，從結構信息和屬性信息兩方面給出非魯棒特征提取方法；b）提出一種基于集成學習的魯棒性圖卷積神經網絡算法，通過非魯棒特征對子模型進行對抗訓練，并使不同子模型分別從結構信息和屬性信息中學習圖信息，集成節點向量表征，有效抵御對抗攻擊影響。

1相關工作

1.1對抗訓練

圖卷積神經網絡可以看做卷積神經網絡在圖數據上的遷移變種，由于兩者相似的卷積機制，圖卷積神經網絡同樣容易受到對抗攻擊干擾。對于圖Euclid Math OneGAp=（A，X）上節點水平的對抗攻擊，攻擊者的目標是找到一個圖結構Euclid Math OneGAp^=（A^，X^），能夠最大化目標節點Vt在圖神經網絡模型fθ上的損失值Euclid Math OneLApatk（fθ（Euclid Math OneGAp^）），其中需要約束對抗擾動不易被察覺，即‖A^-A‖0+‖X^-X‖0≤Δ。由于圖數據上的任務特性，目前大多數的對抗攻擊為投毒攻擊，即攻擊者在訓練數據集中加入對抗樣本實施攻擊［7］。

近年來由于圖卷積神經網絡在節點表征上的強大表達能力，有許多研究開始關注如何提升GCN模型的魯棒性。對抗訓練已經在提升卷積神經網絡等模型的魯棒性上取得了顯著成果，也被眾多學者借鑒用于提升GCN模型的魯棒性。對抗訓練在模型訓練過程中生成對抗樣本，并同時最小化模型在對抗樣本上的損失值，即minθEuclid Math OneLAptrain（fθ（Euclid Math OneGAp^））。Dai等人［2］通過在模型訓練過程中隨機丟棄圖中的邊從而對擾動鄰接矩陣，但這種訓練方法只降低了1%的攻擊成功率。Dai等人［8］基于DeepWalk［9］，提出在嵌入空間中加入噪聲以進行針對投毒攻擊情境下的對抗訓練，提升了DeepWalk在節點分類任務上的泛化能力。這種對抗訓練方法可以擴展到一系列節點嵌入的模型，但實驗缺少對模型魯棒性的對比驗證。Feng等人［10］認為圖的平滑性會導致對抗擾動在節點間傳播，并針對這個問題通過添加一個對抗正則項，降低目標樣本及其相連樣本與預測值間的差異，結果表明添加了正則項的GCN-GAD對對抗擾動的敏感度下降，但實驗中沒有明確使用的對抗攻擊方法。Wang等人［11］提出忽略圖的離散性而直接對鄰接矩陣、特征矩陣加入擾動，針對一種隨機丟棄邊的攻擊方法，實驗驗證提出的GraphDefense方法能夠保證對抗攻擊后模型準確率提升0.2左右。圖數據的離散性給GCN上的對抗訓練帶來了挑戰，在鄰接矩陣或特征矩陣上直接加入擾動的方法能夠降低對抗訓練方法的復雜度。

1.2集成學習

集成學習被廣泛研究用于提高模型的性能，通過結合多個單學習器，提升整體模型的泛化性。由于神經網絡模型總會傾向于從數據集中提取類似的特征進行學習，對抗攻擊在不同的圖神經網絡間也具有泛化性［12］。基于集成學習的對抗攻擊防御方法可以通過使不同子模型間具有不同的對抗子空間（adversarial space，Adv-SS）［13］，防止對抗攻擊造成的影響在子模型間轉移［14］。Kariyappa等人［5］提出多樣性訓練降低子模型間損失函數的相關性。Pang等人［4］提出了一種自適應的正則項，鼓勵不同子模型的非極大預測值具有多樣化。Yang等人［15］基于數據中非魯棒特征分布更普遍的發現，通過讓子模型提取不同非魯棒特征并集成模型學習能力，提升了模型在干凈數據和攻擊數據上的表現。上述基于集成學習的方法在圖像領域取得了顯著成果。

目前，將集成學習用于圖領域以提升模型表現和模型魯棒性的研究很少。張嘉杰等人［14］基于節點間的特征相似度重構了一個屬性圖，并分別基于結構信息和屬性圖進行預測，最后聚合兩者的預測值作為返回結果。這種集成算法基于特征相似的節點以及相鄰節點間通常具有相似標簽的假設，對于屬性信息進行了預處理，一定程度上提升了模型表現，但在圖結構受到擾動的情況下無法消除攻擊影響，存在一定的局限性。Wu等人［6］選取兩個子模型分別從圖的結構信息和屬性信息進行學習，并在每輪迭代中平均兩個子模型的置信度，將集成模型最有信心的預測值作為該節點的偽標簽，并將該節點加入到訓練集中，以此提升模型魯棒性。該方法主要用于解決半監督學習下缺少標簽的問題，沒有考慮對抗攻擊下圖結構和節點屬性上的變化。

1.3非魯棒特征研究

監督學習下，神經網絡通過提取學習數據集中的特征提升模型能力，神經網絡學習到的特征將直接決定其模型預測能力，Ilyas等人［12］認為模型學習到的泛化性良好的特征是對抗攻擊的基礎，并通過在圖像數據集上構建魯棒版數據集和非魯棒版數據集，證明了數據集中的非魯棒特征會導致神經網絡容易受到對抗攻擊影響，因此非魯棒特征在提升神經網絡魯棒性上具有研究價值。Yang等人［15］通過模型卷積層后的嵌入向量提取圖像數據中的非魯棒特征，在提升模型魯棒性的同時保證了干凈數據集上的模型表現。

目前針對非魯棒特征的研究大多集中在圖像領域，但Garg等人［16］發現，不受對抗攻擊影響的魯棒特征與圖像數據的譜特征有關，說明圖數據的拉普拉斯矩陣同樣可能存在非魯棒特征，從而導致GCN的脆弱性。Jin等人［17］的實驗證明，去除對抗攻擊的邊和正常的邊會對鄰接矩陣的秩和奇異值產生不同的影響，說明對抗攻擊生成過程所利用的特征具有特殊性，側面印證了GCN學習到的特征中對于對抗攻擊的易感性不同。由于GCN同時基于結構信息和節點屬性信息進行模型訓練，圖數據上的非魯棒特征研究應針對這兩方面展開。文獻［17］通過對比現實世界中的圖和Metattack［18］攻擊后的圖發現，現實圖中的相連節點大多傾向于擁有相似的屬性特征，而對抗攻擊會改變圖的平滑度。文獻［10］通過提升圖的平滑度構造正則項提升了模型表現。上述研究說明圖數據集中的非魯棒特征可能與圖的平滑度有關。

2基于非魯棒特征的集成對抗訓練方法

受圖像領域的非魯棒特征提取方法啟發，本文提出基于非魯棒特征的集成對抗訓練方法VDERG，考慮圖數據的拓撲結構信息和節點屬性信息，在模型的嵌入向量空間，分別通過與隨機圖的矩陣差異和特征平滑度差異獲得梯度，對應在鄰接矩陣和屬性矩陣上進行迭代，從而得到圖數據中的非魯棒特征。將非魯棒特征作為對抗樣本，讓兩個子模型分別在得到的結構非魯棒特征和屬性非魯棒特征上進行對抗訓練，最后對兩個子模型的嵌入向量求和取平均，通過softmax函數得到節點預測標簽。方法整體流程如圖1所示。

2.1問題描述

定義一個圖為Euclid Math OneGAp=（Euclid Math OneVAp，Euclid Math OneEAp），其中Euclid Math OneVAp為節點集合，包含N個節點{v1，v2，…，vN}，Euclid Math OneEAp為邊的集合。節點間的關系可以通過鄰接矩陣A∈Euclid Math TwoRApN×N進行表示，其中Aij表示節點vi和vj間的關系。X=［x1，x2，…，xN］∈Euclid Math TwoRApN×N表示節點特征矩陣，xi表示節點vi的特征向量，則一個圖也可以用Euclid Math OneGAp=（A，X）來表示。根據常見的節點分類任務設定，本文假定數據集中只有部分節點Euclid Math OneVApL={v1，v2，…，vL}帶有標簽Euclid Math OneYApL={y1，y2，…，yL}，其中節點vi的標簽對應為yi。對于節點分類任務，給定圖Euclid Math OneGAp=（A，X）以及部分節點標簽Euclid Math OneYApL，GCN的目標是學習一個能夠將節點映射到一組標簽的函數fθ：Euclid Math OneVApL→Euclid Math OneYApL，并利用函數fθ對無標簽的節點進行分類預測，學習過程可以由以下公式進行描述：

minθEuclid Math OneLApGCN（θ，A，X，Euclid Math OneYApL）=∑vi∈Euclid Math OneVApL（fθ（X，A）i，yi）（1）

其中：θ為需要學習的fθ的參數；fθ（X，A）i表示節點vi的預測值；（·，·）表示預測值和標簽之間的差異，通常用交叉熵函數計算。目前最常用的GCN結構為兩層GCN［19］，即模型參數θ=（W1，W2），則函數fθ可以進一步細化為

fθ（X，A）=softmax（σ（XW1）W2）（2）

其中：=-1/2（A+I）-1/2表示對鄰接矩陣進行標準化；表示A+I對角矩陣；ii=1+∑jAij；σ表示激勵函數，常用ReLU函數。

基于上述定義，給定圖Euclid Math OneGAp=（A，X）和標簽Euclid Math OneYApL，本文提出的VDERG算法將針對投毒攻擊，在鄰接矩陣A和特征矩陣X可能被投毒的前提下，學習GCN模型參數θ，通過對抗訓練得到一個具有魯棒性的GCN模型，提升對抗攻擊下無標簽節點上的預測分類表現。

2.2非魯棒特征提取

GCN通過提取圖數據中特征學習節點的嵌入表示，提取過程中所利用的圖數據特征中，一部分特征具有魯棒性，即不易受到對抗攻擊擾動的影響，反之則為非魯棒特征，受到攻擊后會使模型的表現下降。

設想最理想的非魯棒特征提取情況：提取得到的擾動圖中蘊涵所有可能干擾GCN的非魯棒特征，且原圖數據和擾動圖數據間的差異巨大，但通過GCN模型后得到了相同的嵌入向量，如圖2所示，則擾動圖中包含的非魯棒特征將對GCN生成節點嵌入表示產生致命影響。基于以上理論，本文對GCN在圖數據上提取的非魯棒特征作出如下定義：Euclid Math OneGAp=（A，X）為原圖數據的鄰接矩陣及屬性矩陣，Euclid Math OneGAp′=（A′，X′）為隨機生成的、與原圖具有相同節點數但節點關系、屬性特征不同的圖數據。GCN模型f的第l層從圖Euclid Math OneGAp′中提取，對應圖Euclid Math OneGAp的非魯棒特征Euclid Math OneRAp=（S，T）可以由下式定義：

dis（Euclid Math OneGAp，Euclid Math OneGAp′）=argmin（S.T）［αL（fl（S），fl（A））+βEuclid Math OneRAp（fl（T），fl（X））］‖S-A′‖∞≤ε，‖T-X′‖∞≤ζ（3）

其中：fl（·）表示GCN模型第l個隱藏層在激勵函數（如ReLU）前的輸出。考慮到對抗攻擊可以通過修改節點間的關系或節點屬性對GCN模型產生干擾，式（3）代表的特征提取過程分別從鄰接矩陣和屬性矩陣兩方面進行約束優化，目標是從圖Euclid Math OneGAp′中提取出可能讓GCN模型混淆識別為圖Euclid Math OneGAp的特征，即圖Euclid Math OneGAp中的非魯棒特征。

式（3）的第一項L（fl（S），fl（A））通過最小化原圖鄰接矩陣A和提取鄰接特征S在嵌入空間的差異，使從節點關系中提取的特征接近GCN學習到的節點關系信息。可以通過約束fl（S）和fl（A）的F范數實現上述目標，即可以將第一項重寫為

L（fl（S），fl（A））=‖fl（S）-fl（A）‖2F（4）

第二項R（fl（T），fl（X））則考慮從節點的屬性信息中提取特征。對抗攻擊在連接屬性差異大的節點或刪除相似節點間鏈接時，會降低圖的平滑度，因此本文考慮通過最小化原圖屬性矩陣X和提取屬性特征T間的特征平滑度差異，使從節點屬性中提取的特征接近GCN學習的節點屬性信息，即式（3）的第二項可以被重寫為

R（fl（T），fl（X））=12‖∑Nn，m=1Snm（fl（tn）-fl（tm））2-

∑Nn，m=1Anm（fl（xn）-fl（xm））2‖（5）

其中：A表示圖數據的鄰接矩陣；Anm表示節點vn和vm相連；（xn-xn）2衡量了節點vn和vm通過GCN模型得到的嵌入向量間的差異；12∑Nn，m=1Anm（xn-xm）2衡量了圖（A，X）的特征平滑度差異；12∑Nn，m=1Snm（tn-tm）2同理。通過約束特征平滑度差異進行屬性特征提取，充分考慮了現實中攻擊者常常將差異較大的節點相連以降低模型預測能力的攻擊特點。

2.3基于非魯棒特征的集成對抗訓練

集成學習作為一種訓練思路能夠用于提升模型魯棒性，通過讓集成學習中的子模型分別學習到不同的特征，能夠在保持簡單模型結構的前提下提升模型表現。若能讓不同子模型學習到不同的非魯棒特征，則能避免對抗攻擊的泛化性影響到所有子模型，提升集成后的模型表現。基于上述理論，本文基于集成學習思想，采用兩個子模型分別從節點關系和節點屬性兩個方面提取圖數據中的非魯棒特征，并利用提取的非魯棒特征對模型進行對抗訓練。對抗訓練常通過在樣本中加入微小擾動，使神經網絡適應擾動從而提升對抗樣本上的模型魯棒性。但圖數據作為非歐幾里德數據結構，無法通過梯度相關方法構造對抗樣本。因此，通過提取的特征對模型進行對抗訓練，避開了構造對抗樣本過程中需要考慮的數據離散問題，更加簡單且具有可解釋性。

2.3.1基于節點關系的非魯棒特征學習方法

參考式（1）和（2），第一個子模型從鄰接矩陣中提取節點關系所含非魯棒特征（S，X）的過程，可以用下式表示：

argminSEuclid Math OneLApa=‖f21（S）-f21（A）‖2F，‖S-A′‖∞≤ε（6）

其中：f21表示第一個子模型的第二層卷積層后、激勵函數前的嵌入向量。通過約束特征S和隨機圖鄰接矩陣A′間的差異小于ε，最小化S和原圖鄰接矩陣A在嵌入空間中的差異距離，從隨機圖Euclid Math OneGAp′的鄰接矩陣中提取出與隨機圖Euclid Math OneGAp′相似，但會錯使GCN模型預測為圖Euclid Math OneGAp的非魯棒特征。第一個子模型進行對抗訓練時的目標損失函數為

argminSEuclid Math OneLAp1=Euclid Math OneLApf1=Euclid Math OneLApGCN（θ1，S，X，Euclid Math OneYApL），‖S-A′‖∞≤ε（7）

其中：Euclid Math OneLApGCN（θ1，S，X，YL）是第一個GCN子模型在輸入特征（S，X）上的損失函數。通過最小化式（7）能夠訓練第一個模型學習到節點關系中包含的非魯棒特征，提升模型的魯棒性。

2.3.2基于節點屬性的非魯棒特征學習方法

參考式（1）和（3），同樣基于GCN第二層卷積層后的嵌入向量，第二個子模型從屬性矩陣中提取節點屬性所含非魯棒特征（A，T）的過程可以用下式表示：

argminTEuclid Math OneLApf =12‖∑Nn，m=1Snm（f22（tn）-f22（tm））2-∑Nn，m=1Anm（f22（xn）-f22（xm））2‖，‖T-X′‖∞≤ζ（8）

其中：f22表示第二個子模型的第二層卷積層后、激勵函數前的嵌入向量。類似地，約束特征T和隨機圖屬性矩陣的差異小于ζ，并最小化T和原圖屬性矩陣X在嵌入空間中的特征平滑度差異，以此從隨機圖Euclid Math OneGAp′的屬性矩陣中提取出對應圖Euclid Math OneGAp的非魯棒特征。第二個子模型進行對抗訓練時的目標損失函數為

argminTEuclid Math OneLAp2=Euclid Math OneLApf2=Euclid Math OneLApGCN（θ2，A，T，Euclid Math OneYApL），‖T-X′‖∞≤ζ（9）

其中：Euclid Math OneLApGCN（θ2，A，T，Euclid Math OneYApL）是第二個GCN子模型在輸入特征（A，T）上的損失函數。式（9）能夠訓練第二個子模型從節點屬性的角度學習非魯棒特征，降低對抗攻擊的影響效果。

2.3.3基于集成學習的對抗訓練策略

基于上述非魯棒特征學習方法，本文提出的VDERG對抗訓練過程如下：首先隨機生成兩個GCN子模型，在每輪迭代中根據輸入圖生成節點數相同的隨機圖，通過隨機梯度下降優化式（6）和（8），借助隨機圖分別從鄰接矩陣和屬性矩陣中提取輸入圖的非魯棒特征；然后基于節點關系和節點屬性中的非魯棒特征分別對兩個子模型進行對抗訓練，利用式（7）和（9）的交叉熵損失函數優化子模型參數，通過Adam對網絡參數進行優化；最后對兩個子模型得到的節點嵌入向量求和取均值，經過softmax函數得到最終模型的預測結果。偽代碼如算法1所示。

算法1VDERG的訓練策略

輸入：鄰接矩陣A，屬性矩陣X，標簽Euclid Math OneYApL，特征提取過程輪數N1、N2，步長α、β，學習率η。

輸出：集成GCN模型的參數θ1、θ2，節點預測結果。

randomly initialize θ1，θ2

//初始化兩個GCN子模型的參數；

for e in range（E）：

（A′，X′）←random_attack（（A，X），ptb_rate=1）

//通過在輸入圖數據上實施擾動率1.0的隨機攻擊生成隨機圖

initialize S←A′//利用隨機圖的鄰接矩陣初始化特征S

for i in N1：

通過式（6）以步長α更新S得到（S，X）

//基于嵌入空間從鄰接矩陣提取非魯棒特征

end

g1←Euclid Math OneLApGCN（θ1，S，X，Euclid Math OneYApL）θ1

θ1←θ1-ηg1

//更新第一個子模型參數

initialize T←X′

//利用隨機圖的屬性矩陣初始化特征T

for j in N2：

通過式（8）以步長β更新T得到（A，T）

//基于嵌入空間的特征平滑度差異提取非魯棒特征

end

g2←Euclid Math OneLApGCN（θ2，A，T，Euclid Math OneYApL）θ2

θ2←θ2-ηg2

//更新第二個子模型參數

embedding1=g1（S，X）

//基于結構非魯棒特征得到嵌入向量

embedding2=g2（A，T）

//基于屬性非魯棒特征得到嵌入向量

pred=softmax（embedding1+embedding22）

end

3實驗結果與分析

3.1數據集描述

本文選取了圖領域常見的三種引文網絡數據集作為數據集進行節點分類任務實驗，數據集的詳細信息如表1所示。實驗中，參考著名攻擊算法Metattack的數據集劃分方法，本文將所有數據集按照10%和90%的比例隨機分割為有標簽集和無標簽集，再進一步把有標簽集按照50%和50%的比例分為訓練集和驗證集。

3.2模型效果對比

為了驗證本文所提出的VDERG的對抗攻擊防御能力，本文基于對抗攻擊算法Metattack，將VDERG與目前效果最好的幾種GCN防御算法在節點分類準確率上進行對比評估。Metattack有五個變種，在數據集Cora和Citeseer上本文采用攻擊效果最好的Meta-Self變種進行實驗；在數據集Pubmed上，出于節省時間內存的考慮，本文采用和Meta-Self變種相似的A-Meta-Self變種進行實驗。實驗針對0%～20%的擾動率進行了實驗，每次提升5%的擾動率，參考實驗結果如表2所示，其中GCN、GAT、GCN-Jaccard、Pro-GNN的實驗結果來自文獻［17］，SimP-GCN的實驗結果來自原論文。為了使模型結果更加客觀，消除深度學習訓練過程中的隨機性，所有實驗均重復了10次。

從表2的結果可以看出，在擾動率為0時，VDERG在Cora、Citeseer和PubMed數據集上的模型準確率分別在目前最優模型的基礎上提升了0.84%、1.25%和0.32%，說明VDERGE通過集成節點屬性特征和結構特征能夠更全面地學習到圖數據蘊涵的信息，并且通過非魯棒特征進行對抗訓練不僅能夠提升模型魯棒性，還能提升模型在干凈數據集上的表現。

針對擾動率為5%～20%的情況，VDERG在三個數據集上都比現有最優模型取得了更高的準確率，擾動率的提升并沒有使VDERG像原始GCN那樣在準確率上產生明顯的下降。在擾動率提升的過程中，相較其他方法，VDERG的模型準確率下降更為緩慢，表現出了更強的魯棒性。同現有其他分類器相比，VDERG在Cora數據集上的表現提升最為明顯，當擾動率為20%時，VDERG的準確率比現有最優模型高了6.91%。

3.3集成與單一特征學習對比

為了研究集成方法在替身模型表現過程中的有效性，本節對比在集成過程中僅考慮結構信息或屬性信息的模型表現，實驗結果如表3所示，圖中分別展示了只從結構信息提取非魯棒特征的VDERG-structure和只從屬性信息提取非魯棒特征的VDERG-features在數據集Cora和Citeseer上的結果。從表中可以看出，雖然在Cora數據集的原始數據上VDERG的效果略遜于單獨考慮結構信息，但在Citeseer數據集上以及受到對抗攻擊時，綜合考慮了結構信息和屬性信息的VDERG都取得了最好的分類效果，說明本文提出的集成策略能夠有效提升模型的魯棒性，提高對抗攻擊下的圖信息表征能力。同時，實驗結果表明，僅僅基于結構信息中的非魯棒特征進行對抗訓練比僅基于屬性信息的方法效果更好，這是因為基于特征平滑度差異提取非魯棒特征時可能造成孤立節點的過平滑，而VDERG綜合考慮結構信息能夠有效彌補這一缺陷。

3.4模型不同參數對比

對于本文提出的VDERG策略，非魯棒特征的提取效率至關重要。因此，本節在10%擾動率的Metattack攻擊下的Cora數據集上，研究分析了結構非魯棒特征提取過程中的步長α和輪數N1，以及屬性非魯棒特征提取過程中步長β和輪數N2對VDERG效果的影響，實驗結果如圖3所示。本文設定步長α和β的變化為5E-5～1，輪數N1和N2的變化1～12。從圖3中可以看出，在兩種非魯棒特征提取過程中，模型的性能隨著迭代輪數的變化呈現先上升后下降的趨勢，對于結構信息的特征提取，最佳輪數為7；在迭代輪數為8～11時，屬性信息特征提取隨迭代輪數變化的曲線波動更明顯，同樣在輪數為7時取得最好模型效果，迭代輪數達到11后模型性能開始顯著下降。此外，從圖中還可以看出模型在兩種非魯棒特征提取過程中隨步長的改變有著相似的變化趨勢，都呈現先上升后下降的形勢，結構非魯棒特征提取的最佳迭代步長為5E-5 ，屬性非魯棒特征提取的最佳迭代步長為5E-4。

4結束語

本文針對圖卷積神經網絡提出了一種基于非魯棒特征的集成對抗訓練策略。通過從圖卷積層后的嵌入向量中提取非魯棒特征進行對抗訓練，能夠繞開直接構造對抗樣本時面臨的數據離散等問題。為了充分利用圖數據信息，本文提出的策略分別從拓撲結構和節點屬性兩方面的信息出發，借助隨機圖分別提取輸入圖中蘊涵的非魯棒特征，利用非魯棒特征對兩個子模型分別進行對抗訓練，并最終集成兩個子模型得到的嵌入向量，得到節點預測分類。在引文網絡上的實驗證明，在Cora、Citeseer、PubMed原始數據集上，該策略較目前最優模型分別提升了0.84%、1.25%和0.32%的準確率；Cora數據集上，面對20%擾動率的對抗攻擊時，能夠比現有最優模型提升6.91%的準確率，以上實驗結果充分證明了本文提出的策略能夠提升模型在干凈數據和攻擊圖上的節點分類任務表現。

通過對比集成模型與單一特征學習模型的實驗結果可以看出，不論是在原始數據集上還是在攻擊情景下，集成結構拓撲和節點屬性的策略都比單從一個方面進行對抗訓練的模型效果更好。

在接下來的工作中，本文計劃針對包含較多孤立節點的數據集提升非魯棒特征的提取效果，研究其他圖神經網絡模型結構對非魯棒特征的敏感度以及學習表現，更深入探索圖數據中的非魯棒特征與對抗攻擊間的關系。

參考文獻：

［1］Zügner D，Akbarnejad A，Günnemann S.Adversarial attacks on neural networks for graph data[C]//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2018：2847-2856.

[2]Dai Hanjun，Li Hui，Tian Tian，et al.Adversarial attack on graph structured data[C]//Proc of the 35th International Conference on Machine Learning.[S.l.]：PMLR Press，2018：1115-1124.

[3]Goodfellow I J，Shlens J，Szegedy C.Explaining and harnessing adversarial examples[C]//Proc of the 6th ICLR.2015.

[4]Pang Tianyu，Xu Kun，Du Chao，et al.Improving adversarial robustness via promoting ensemble diversity[C]//Proc of the 36th International Conference on Machine Learning.[S.l.]：PMLR Press，2019：4970-4979.

[5]Kariyappa S，Qureshi M K.Improving adversarial robustness of ensembles with diversity training[EB/OL].（2019-01-28）[2022-01-04].https：//arxiv.org/pdf/1901.09981.

[6]Wu Xuguang，Wu Huijun，Zhou Xu，et al.CoG：a two-view co-training framework for defending adversarial attacks on graph[EB/OL].（2021-09-12）[2022-01-04].https：//arxiv.org/pdf/2109.05558.

[7]Sun Lichao，Dou Yingtong，Yang C，et al.Adversarial attack and defense on graph data：a survey[EB/OL].（2020-07-12）[2022-01-04].https：//arxiv.org/pdf/1812.10528.

[8]Dai Quanyu，Shen Xiao，Zhang Liang，et al.Adversarial training me-thods for network embedding[C]//Proc of WWW Conference.New York：ACM Press，2019：329-339.

[9]Perozzi B，Al-Rfou R，Skiena S.DeepWalk：online learning of social representations[C]//Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2014：701-710.

[10]Feng Fuli，He Xiangnan，Tang Jie，et al.Graph adversarial training：dynamically regularizing based on graph structure[J].IEEE Trans on Knowledge and Data Engineering，2019，33（6）：2493-2504.

[11]Wang Xiaoyun，Liu Xuanqing，Hsieh C J.GraphDefense：towards robust graph convolutional networks[EB/OL].（2019-11-11）[2022-01-04].https：//arxiv.org/pdf/1911.04429.

[12]Ilyas A，Santurkar S，Tsipras D，et al.Adversarial examples are not bugs，they are features[C]//Advances in Neural Information Proces-sing Systems.2019：125-136.

[13]Tramèr F，Papernot N，Goodfellow I，et al.The space of transferable adversarial examples[EB/OL].（2017-05-23）[2022-01-04].https：//arxiv.org/pdf/1704.03453.

[14]張嘉杰，過弋，王家輝，等.基于特征和結構信息增強的圖神經網絡集成學習框架[J].計算機應用研究，2021，39（3）：668-674.（Zhang Jiajie，Guo Yi，Wang Jiahui，et al.Ensemble learning framework for graph neural netword with feature and structure enhancement[J].Application Research of Computers，2021，39（3） ：668-674.）

[15]Yang Huanrui，Zhang Jingyang，Dong Hongliang，et al.DVERGE：diversifying vulnerabilities for enhanced robust generation of ensembles[C]//Advances in Neural Information Processing Systems.2020：5505-5515.

[16]Garg S，Sharan V，Zhang B H，et al.A spectral view of adversarially robust features[C]//Advances in Neural Information Processing Systems.2018：10159-10169.

[17]Jin Wei，Ma Yao，Liu Xiaorui，et al.Graph structure learning for robust graph neural networks[C]//Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2020：66-74.

[18]Zügner D，Günnemann S.Adversarial attacks on graph neural networks via meta learning[EB/OL].（2019-02-22）[2022-01-04].https：//arxiv.org/pdf/1902.08412.

[19]Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks[EB/OL].（2017-02-22）[2022-01-04].https：//arxiv.org/pdf/1609.02907.

[20]Velicˇkovic＇ P，Cucurull G，Casanova A，et al.Graph attention networks[C]//Proc of the 6th ICLR.2018.

[21]Jin Wei，Derr T，Wang Yiqi，et al.Node similarity preserving graph convolutional networks[C]//Proc of the 14th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2021：148-156.

收稿日期：2022-01-09；修回日期：2022-03-01

作者簡介：承琪（1997-），女，福建廈門人，碩士研究生，主要研究方向為網絡安全；朱洪亮（1982-），男（通信作者），河南漯河人，副教授，博士，主要研究方向為大數據安全、網絡行為分析、網絡安全（zhuhongliang@bupt.edu.cn）；辛陽（1977-），男，山東海陽人，教授，博士，主要研究方向為網絡安全與智能信息處理、網絡空間安全、人工智能、存儲災備等．