基于改進積分梯度的黑盒遷移攻擊算法

王正來，關勝曉

中國科學技術大學信息科學技術學院，合肥 230026

目前深度學習已廣泛應用于生活的方方面面，例如人臉識別、自動駕駛、文本翻譯、機器人技術等。隨之而來，網絡模型的安全性成為了數據工作者關注的重點，研究者發現了對抗樣本的存在，即在輸入中添加微小、人眼難以察覺的、經過精心設計的擾動制作成對抗樣本輸入分類模型就可以改變模型的預測結果[1]。深度學習的各種任務方向都發現了對抗樣本的存在，包括目標檢測、圖像分割、文本分類、強化學習等，并可以將樣本從數字世界轉移到物理世界中進行物理對抗攻擊[2]。使用妝容遷移來生成人臉對抗樣本可以防止面部信息被不正當的人臉系統識別[3]。給交通指示牌照射精心設置的激光就可以引起自動駕駛識別系統出錯進而造成安全事故[4]。因此，對于攻擊方法和對應防御方法的研究有著重要的現實意義。

攻擊方式主要分為白盒攻擊和黑盒攻擊，區別在于是否可以訪問模型的具體信息。白盒攻擊常用算法包括FGSM[5]、C&W[6]、PGD[7]等，而非理想的攻擊對象一般處于黑盒模式，無法得知具體的結構，也不能得到模型返回的梯度等信息。黑盒攻擊分為查詢和遷移兩種，基于查詢的攻擊需要多次訪問模型輸出，易引起監控者警覺，而遷移攻擊主要基于對抗樣本的遷移性，即針對不同層數、激活函數、超參數和訓練集的神經網絡生成的對抗樣具有穩健的攻擊性，在代理模型上生成的對抗樣本可以誤導其他未知模型。

目前攻擊算法遷移性能普遍不高，近幾年為提高對抗樣本的遷移性，研究者聚焦于優化更新梯度方向，比如將動量項整合到迭代過程中[8]，擺脫不良的局部最優，或者引入輸入多尺度變換[9]，使梯度方向更準確。但是基于梯度的方法存在固有的缺陷，當輸入圖片的特征進入飽和區時，單純計算一點的反向梯度較小。其他的研究基于歸因技術更改神經元注意力進行操作，提高內部失真，如FIA[10]、NAA[11]、ATA[12]等，但是所用歸因技術指代性不夠。Huang 等人[13]將積分梯度[14]（integrated gradients）引入對抗攻擊，提出了目前最先進的TAIG算法，并證明其同時從優化目標函數、修改注意力、平滑決策面三個方面進行攻擊。TAIG 有兩種版本，基于直線積分的TAIG-S和基于直線區間隨機采樣路徑的TAIG-R。積分梯度是一種歸因技術，用來顯示原圖中每個像素對預測結果的影響程度，但是其存在以下問題：一是默認輸入已進入飽和區，將路徑限定于基線到輸入的有限路徑內來計算路徑上的梯度累積，但是真實輸入卻并未飽和，其忽略了線段外區域的有效梯度累積，使歸因圖喪失了大量有效信息；二是目前還沒有優秀的基線，一般憑經驗選取為全0圖，但是對于模型來說并非不含任何信息；三是高維神經網絡在小尺度上快速抖動會導致路徑中單個點的梯度計算出現誤差，從而生成的歸因圖含有較多噪點，而不同模型傾向于關注相似的區域，特征外過量噪點限制了TAIG算法的攻擊性能。

為了解決以上問題，本文改進了積分梯度，提出無限路徑的擴展積分梯度EIG（extended integrated gradients）和信息熵基線。在IG的基礎上額外融合輸入到真實飽和區的梯度累積，更明確了指代輸入中每個像素的重要性，用EIG 替換TAIG 算法中的積分梯度可以明顯提升其攻擊性能；信息熵基線針對每個模型單獨訓練，使模型沒有任何傾向。并基于此提出了一種改進積分梯度的對抗樣本生成方法IIGA，其具有比TAIG更強的攻擊性和遷移性能。圖1 展示了該算法通過攻擊ResNet 來遷移攻擊其余模型的例子，IIGA 使用基于信息熵基線的EIG生成的梯度結果，同時在路徑計算中引入梯度平滑[15]，在每一點周圍區間高斯采樣，通過多輸入平均可以抑制梯度噪點，大大提升了算法遷移性。

圖1 IIGA遷移攻擊Fig.1 Transferable attack of IIGA

本文貢獻總結如下：

（1）提出了無限路徑的擴展積分梯度EIG，可以生成更高質量的歸因圖并提升TAIG性能。

（2）提出了信息熵基線，針對每個模型單獨訓練，以很少的代價確保基線的無信息。

（3）提出了一種遷移攻擊算法IIGA，基于EIG 和信息熵基線的梯度結果進行平滑，過濾梯度噪聲，具有更高的白盒和黑盒遷移性能。

（4）通過大量的實驗驗證了提出的改進積分梯度攻擊算法的優越效果。

1 相關工作

1.1 積分梯度

在做出決斷時，人類傾向于借助物體的某些特征并分配注意力，同樣，因為神經網絡的高維非線性使模型解釋非常困難，歸因技術可以用來顯示輸入圖片中每個像素對最終輸出結果的影響，即通過歸因圖來表示模型分配給每個像素的注意力大小。

常用的歸因技術包括直接梯度、CAM[16]、Grad-CAM[17]、LRP[18]等，積分梯度[14]是一種路徑方法，結合了直接梯度和LRP分而治之的思想，在輸入到基線值的路徑上對梯度進行積分來構建更精確的歸因結果，避免了飽和問題，可以生成更細致的歸因圖。

路徑方法描述如下：定義一個映射函數f:?n→?k，表示一個深度網絡，xe∈?n為輸入圖片，y∈?k為輸出，經過softmax 歸一處理之后可以表示不同類別置信度。令起始點為x′，定義一個路徑函數γ:[0,1]→?n，表示從起始點γ(0)=x′到終點γ(1)=xe的路徑。路徑法沿γ(α)對函數梯度進行積分，α∈[0,1]，則輸入xe第i維的路徑積分梯度為：

積分梯度法是路徑方法中的一個特例，沿著直線進行積分，即γ(α)=x′+α(xe-x′),α∈[0,1]。其公式表達如下：

所有路徑方法都滿足不變性、敏感性、線性和完整性定理，而積分梯度法同時還滿足保對稱性，即交換兩個參數的位置會保持輸出結果不變，這樣多個特征不需要按照固定的模式輸入歸因系統，可以減少預處理步驟，因此積分梯度法是路徑方法中最優的選擇。

1.2 黑盒遷移攻擊

對抗樣本的概念最先由Szegedy 等人[1]提出，對于分類器f，給定輸入x和真實標簽l。找到一個微小擾動δ，滿足‖δ‖p≤ε,ε為約束，‖· ‖p為Lp范數，生成xadv=x+δ，使得f(xadv)≠l。

黑盒攻擊是找到對抗樣本最困難的攻擊場景，不能獲得模型的內部細節和梯度，主要分為基于查詢和基于遷移兩種方式?；谶w移的攻擊使用更加廣泛，使用代理模型制作對抗樣本，與黑盒模型隔絕，管理員無法通過監控訪問來規避攻擊。

FGSM[5]是經典的一次攻擊算法，攻擊速度快，C&W[6]是一種優化方法，定義了多種約束函數將非線性約束轉化可求解形式，但是兩種算法對抗樣本遷移性都較差。近年來針對梯度提出了多種改進方法，MI[8]將動量項整合到迭代過程中，來穩定更新方向，提供攻擊可遷移性。SI-NI[9]引入縮放不變性來進行數據增強和Nesterov accelerated gradient 來跳出局部最優解，進行更好的優化。VMI[19]在每次迭代過程中不直接使用上輪累積的梯度，而是對梯度進行方差調整，進一步穩定更新方向。SM2I[20]提出了新的動量方法空間動量，對輸入進行隨機變換并利用不同區域的特征來生成更加穩定的梯度結果。還有一些研究引入注意力機制修改模型中間層或者針對歸因圖進行優化，可以提升攻擊的遷移性。因為不同優秀的模型所關注的特征是類似的且集中于人類視覺觀察的特征區域，因此針對修改共同關注的注意力區域可以提升對抗樣本的遷移性。FIA[10]引入聚合梯度來獲得輸入的特征區域，指導破壞主導模型決策的重要特征。ATA[12]將通過反向傳播梯度估計不同特征對模型方向的重要性，對同一層所有特征圖通道求和并經過ReLU濾除負特征。AOA[21]與ATA類似，利用LRP的變體來計算歸因圖，并提出了幾種抑制注意力的優化目標函數。TAIG[13]基于積分梯度，從有限路徑中提取模型的注意力并作為攻擊的優化方向，達到了目前的最佳，但是還有很大的提升空間。

針對遷移性的研究雖然有一定成果但是遷移攻擊成功率依然不夠理想。針對梯度的改進方法未考慮梯度飽和問題，而引入注意力的優化策略使用的歸因技術指代粗糙，不能聚焦于模型所共同關注的部分。本文提出的算法可以同時彌補這兩個方面的不足。

2 本文方法

本文優化了積分梯度，提出了擴展積分梯度的歸因方法EIG和信息熵基線，并基于此提出了一種改進積分梯度的對抗攻擊方法IIGA，可以大幅度提高白盒攻擊和黑盒遷移攻擊的性能，下面詳細介紹該方法的具體實現過程。

2.1 改進積分梯度

2.1.1 擴展路徑

積分梯度本質就是防止輸入圖片進入飽和區從而導致梯度為零，但是真實圖片并不一定進入飽和區。在基線到輸入之間的有限路徑理想化地認可這一設定，而更準確的方法是在原來路徑的基礎上加上輸入xe到真實飽和點x∞的補充區間，其中x∞=γ(+∞)，存在基線到輸入路徑延長線的無窮遠處，則延長區間上的歸因補充為：

本文提出了擴展路徑的積分梯度EIG，EIG 包括兩個部分，一個是α∈[0,1]，另一個是α∈[1,ω]，其中ω趨近于無窮：

雖然擴展路徑趨近于無窮，在實際計算的時候會很快進入飽和區，ω取一個大于2 的整數即可，在實際計算過程中采用離散形式，m為離散量，其離散形式為：

圖2（a）展示了用ResNet50預測輸入圖片，當α從0（采用0基線）經過1（原圖）到ω=3（接近飽和區）時，樣本預測為目標類別的置信度，同時為了測量不同的路徑范圍對預測結果的影響，圖（b）計算了每個點梯度的l2范數，可以看出α在2.5 之后目標類別置信度和反向梯度才逐漸趨近于0，將不同分段產生的歸因圖展示如圖2（d）～（f）所示，（f）表示的EIG 綜合了額外路徑的信息，比（d）代表的IG更好地顯示了歸因像素位置和強度。

圖2 不同路徑區段結果Fig.2 Results for different path segments

并且將擴展積分替換TAIG算法的積分梯度可以明顯提升TAIG攻擊的效果，具體結果見3.2和3.3節。

2.1.2 信息熵基線

除了積分路徑，基線值x′也非常重要，表示中性的、不含任何信息的輸入量。目前對于基線的研究并不多，大多數都是以人類直覺作為參考，在圖像任務中一般使用全黑圖、全白圖和隨機值，在自然語言領域采用全零向量。然而從模型的視角來說，這些基線并非是中性的，比如區分黑夜和白天任務，使用全黑或全白基線的模型有各自不同傾向性。有研究[22]指出基線的選擇對模型解釋效果會產生顯著影響，基線代表模型功能缺失性的參考點，選擇恒定顏色的基線會使模型喪失對該顏色的關注度，而如果特征位于該顏色范圍則會遭到模型的忽略。因此積分梯度采用更恰當的基線會得出更真實的關注度，有助于在對抗攻擊任務中產生更準確的擾動方向。

熵代表隨機變量不確定度的度量，為了解決以上缺陷，可以用信息熵[23]來度量輸入對特定模型的信息攜帶量：

根據積分梯度的定義，基線相對于模型來說不包含任何信息量，因此最優的基線應該攜帶最少的信息量，用以下公式來表示：

在具體實現的過程中可以在0 基線的基礎上簡單地通過幾輪迭代來降低H(x)，圖3展示了0值基線（全黑圖）和信息熵基線輸入分類模型的預測結果，橫坐標包含1 000個不同類，縱坐標為經過歸一化之后的輸出置信度，可以看出0值基線輸入模型依然會有自己傾向的類別，表明含有一定信息，與基線的定義不匹配，而信息熵基線各類別的置信度大致相當，模型不能得出任何結果。

圖3 不同基線預測結果Fig.3 Different baseline prediction results

2.2 基于改進積分梯度的攻擊算法

改進積分梯度衡量了直接與網絡模型預測結果相關像素的敏感度，而反向更改這些輸入像素點的值可以抑制模型輸出某一類別的傾向，在特征世界里變相擦除了不同模型判別某一類別所共同依賴的特征。本文提出了IIGA 攻擊算法，與TAIG 的思想類似，針對圖像特征區域進行攻擊。

但是IIGA并不是直接將生成的改進積分梯度結果作為優化方向，因為神經網絡是高維的，其函數的導數在小尺度上會快速抖動，而基于ReLU激活函數使網絡不是連續可導[15]，這導致計算的積分梯度存在許多噪點，并隨機分布在圖片的各個區域。這些散布在無關區域的噪點導致在樣本遷移時影響了大量不相關的區域，而對真實公共部分特征的關注不夠，造成攻擊其他模型時成功率下降。

針對以上問題IIGA 引入平滑梯度操作來濾去噪點。在原始輸入x的鄰域內進行高斯采樣，具體地，加入高斯隨機噪聲，分別計算不同輸入的積分梯度，平滑之后的積分梯度取平均值：

其中，p為高斯采樣的樣本數，N(0,σ2)是均值為0，標準差為σ的高斯噪聲。平滑梯度的本質就是輸入大量相近的圖片求平均來抑制高維神經網絡的快速波動。圖4 展示了圖片使用不同積分梯度計算的結果，IG 和EIG采用信息熵基線相比0基線關注的特征區域更加明顯。加入梯度平滑操作之后歸因圖中無關區域的噪點顯著減少，而結合信息熵基線和平滑梯度的歸因圖（e）、（i）將關注點都集中于鳥本身區域。

圖4 積分梯度歸因圖Fig.4 Integrated gradient attribution map

經過平滑之后的積分梯度相比現有方法更加有效的衡量了圖片的注意力，在IIGA迭代攻擊中引入動量，攻擊形式如下：

其中，μ為動量系數，動量項的引入可以在迭代過程中擺脫不良的局部最大值，穩定更新方向。ε為擾動系數，sign(·) 為裁剪函數，將數據限定在真實像素范圍內。因為計算出的IG 矩陣元素大小不均，為了限制其無窮范數，裁剪函數提取積分梯度方向，將一步擾動ε均分為多步小擾動形式，T為劃分步數，則每次的擾動距離為ε/T。在實際攻擊過程中，為了減少計算量，可以判斷每一小步是否攻擊成功，如果不成功則再重新計算更新方向進行下一小步的更新，攻擊成功則跳出循環。

算法偽代碼見算法1，先初始化參數并依靠幾輪迭代生成信息熵基線，攻擊時在每次迭代攻擊中在單個點周圍采樣p次，求計算的改進梯度積分的平均，并且通過動量融合上一輪梯度的信息來優化對抗樣本。

算法1改進積分梯度算法（IIGA）

輸入：分類模型f，圖片x，真實標簽l，更新步數T，離散路徑分段m，積分擴展系數ω，標準差σ，高斯采樣數p，動量系數μ。

輸出：對抗樣本xadv。

3 實驗

本章設計實驗來驗證改進積分梯度算法攻擊的性能，首先介紹實驗使用的數據集、模型、對比方法等，然后比較白盒模式下的攻擊效果，以及黑盒遷移攻擊性能，最后比較算法中超參數取值對攻擊效果的影響。

3.1 實驗設計

（1）數據集。本文使用的數據集為從ImageNet[24]挑選的1 000 張圖片，并且保證所有分類模型都可以正確預測結果，這樣可以忽略不同模型分類準確度的差異，只關注算法本身在不同結構模型上的攻擊效果。

（2）模型。為了公正合理地評判不同攻擊方法的優劣，被測模型分別選擇CNN 結構的模型ResNet-50[25]、InceptionV3[26]（簡稱Inc-V3）、EfficentNet B3[27]（簡稱Effi-B3）。基于Transformer架構的分類模型Swin Transformer[28]（簡稱Swin）和MViTv2[29]。以及結合卷積的Transformer架構、Convolutional Transformers[30]（簡稱CvT），分別選取各種模型的版本為Swin-B，MViTv2-B 和CvT-13，所有模型均在ImageNet數據集上進行訓練。

（3）基線算法。白盒攻擊模式下比較算法包括FGSM、C&W、ATA、AOA、FIA、TAIG-S 和TAIG-R。在黑盒模式下，基線算法包括遷移性較強的算法SI-NI、ATA、AOA、VMI、FIA、SM2I、TAIG-S、TAIG-R，同時還包括EIG版本的TAIG。固定IIGA方差σ=0.15,μ=0.9。

（4）評測指標。評測指標包括：

①攻擊成功率：攻擊成功樣本數/總樣本數量；

②平均攻擊耗時：每個樣本的平均生成時間。

實驗代碼采用PyTorch 框架編寫，硬件平臺采用兩塊NVIDIA GeForce RTX 3090。

3.2 白盒攻擊

黑盒遷移攻擊是依賴白盒算法攻擊代理模型生成的對抗樣本去攻擊未知模型，而一般方法白盒攻擊和遷移攻擊相互矛盾，在代理模型上攻擊成功率越高則遷移性較差。而IIGA 因為關注了準確的注意力特征，可以減輕兩者之間的權衡，在白盒和黑盒兩種模式都取得優異的性能。

將改進算法與流行的白盒攻擊方法進行比較，實驗采用單步攻擊，即對原圖只進行一輪擾動更新，限定相同的最大擾動距離ε為8/255，這樣可以拋棄其他因素，比較算法本身計算更新方向的優劣，而如果采用多步攻擊，大多數算法都可以取得接近100%的成功率。TAIG和IIGA的分段值m都設置為20，平滑梯度采樣數p設置為25，ω為4。

檢驗不同算法分別單步攻擊ResNet-50、Inc-v3、Effi-B3、Swin、MViTv2-B 和CvT-13，攻擊成功率見表1。從表中可以得出，在白盒模式下，將TAIG中的積分梯度更換為擴展積分梯度EIG 可以明顯地提升其白盒攻擊的成功率，TAIG-S攻擊ResNet-50準確率提升了13個百分點以上。所提出的IIGA算法超過了所有對比的白盒方法，比TAIG-S攻擊準確率平均高12個百分點，比TAIG-R高9個百分點，達到了目前的SOTA。

表1 不同攻擊算法單步攻擊模型的成功率Table 1 Success rate of single-step attack models of different attack methods 單位：%

3.3 黑盒遷移攻擊

遷移攻擊是一種常用的黑盒攻擊方式，具有隱蔽性高，不需要查詢模型等優點。所有算法都基于迭代的方法，限定同樣的迭代次數T=5，擾動ε=8/255，攻擊代理模型ResNet-50，所有算法都達到了100%左右的成功率，將攻擊成功的對抗樣本遷移攻擊其他模型，這樣可以過濾掉失敗樣本對檢驗結果的干擾。TAIG 和IIGA的參數設置與3.2節保持一致。

表2比較了不同算法遷移攻擊成功率，可以看到將IG替換為EIG的TAIG兩種版本算法的遷移性能都有一定的提高，分別提高了2～4個百分點。IIGA攻擊所有模型都取得了最佳的效果，平均遷移攻擊成功率超過SI-NI的12個百分點，TAIG-R的6個百分點，提升明顯。

表2 攻擊代理模型生成對抗樣本的遷移攻擊成功率Table 2 Transferable attack success rate for attack agent models generating adversarial samples 單位：%

3.4 攻擊耗時

本文統計了不同算法制作單張對抗樣本的平均耗時，攻擊ResNet-50 模型，限定ε=8/255,T=1,m=20,p=25,ω=4，結果見表3。每個方法的計算時間有一定差別，除去加法等基本計算的時間，主要花費在輸入模型計算反向梯度的次數上，FGSM、C&W、AOA、ATA和FIA每次迭代輸入計算一次梯度反向傳播，時間復雜度為O(T)。同理，因為每一次迭代都包含多次固定的梯度反向計算，SI-NI、VMI、SM2I的時間復雜度都為O(k·T)，k為不同算法輸入模型的次數。TAIG 在每一次迭代過程中進行m次梯度計算，時間復雜度為O(m·T)，IIGA的時間復雜度為O(mpω·T)，所有算法的時間復雜度都為O(T)。IIGA 因為系數相比于TAIG 更大，在實際耗時上不占優勢，但是因為每一段的計算過程都一樣，可以將多次輸入組合成多batchsize的張量，降低輸入模型的次數，因此并不會花費太多倍的時間。在實際測試中TAIG-R 處理一張圖片為104 ms，而IIGA 為352 ms，大約為TAIG的3倍。

表3 單步攻擊平均耗時Table 3 Average running time for single-step attack單位：ms

3.5 消融實驗

IIGA 結合了擴展積分梯度、信息熵基線和梯度平滑，下面比較兩種改進方法各自的提升效果。設置ε=8/255,m=20,p=25,ω=4，按照3.2 和3.3 節敘述的操作，分別比較擴展積分梯度使用0 基線、隨機基線和信息熵基線，以及在各自種情況下加入平滑梯度操作的結果。如表4所示，分別比較白盒攻擊和黑盒遷移攻擊的平均成功率，相比于基線選擇，平滑梯度得到的提升更大，而結合兩種操作的IIGA 取得了最佳性能。隨機基線因為是在[0，1]之間取值，輸入到基線之間的點逐漸失去語義信息，不適合對抗攻擊任務，而0 基線和信息熵基線都在0附近，輸入與基線的插值相對于0成比例，圖片的整體信息還在，則其梯度信息具有參考價值。

表4 消融實驗Table 4 Ablation experiments單位：%

3.6 參數分析

這部分具體檢驗IIGA算法中不同參數對算法性能的影響。

（1）迭代步數T。固定IIGA 劃分段m=20，擾動距離ε=8/255，高斯采樣數p=25,ω=4，比較不同的迭代步數T下白盒攻擊目標模型的成功率。具體如圖5所示，橫坐標為迭代輪數，縱坐標為攻擊成功率，隨著T的增加，成功率明顯增強，經過4～5 輪左右的迭代結果逐漸趨近于飽和。

圖5 不同迭代步數T 攻擊成功率Fig.5 Attack success rate of different T

（2）擴展范圍ω。固定ε=8/255,T=1,m=20,p=25。如圖6所示，ω分別取值1、2、3、4、5、6，可以看出擴展范圍越大，獲得的積分梯度信息更準確，攻擊準確率逐步提高，w=4 時趨近于穩定，綜合考慮計算量，w可以取值4。

圖6 不同擴展參數ω 攻擊成功率Fig.6 Attack success rate of different ω

（3）分段數m。IIGA 采用離散方式近似計算積分梯度，固定ε=8/255,T=1,p=25,ω=4。圖7 比較不同分段數m下白盒攻擊的成功率，橫坐標為m，縱坐標為攻擊成功率，m分別取值為5、10、15、20、25和30。隨著分段數劃分得越多，攻擊成功率有所提升，但需要的計算量會更高，m=10 時已經達到了可接受的結果。

圖7 不同分段數m 攻擊成功率Fig.7 Attack success rate of different m

（4）高斯采樣數p。固定ε=8/255,T=1,m=20,ω=4,如圖8所示，p分別取值5、10、15、20、25、30，可以看出高斯采樣的數量與攻擊效果存在明顯的正相關關系，p值越大，平滑之后的積分梯度更精確，攻擊準確率逐步提高，p=15 時趨近于穩定。

圖8 不同高斯采樣數p 攻擊成功率Fig.8 Attack success rate of different p

4 結束語

本文針對現有算法的不足，改進了積分梯度，提出了擴展積分梯度EIG和信息熵基線，并提出了基于EIG、新基線和梯度平滑的對抗攻擊算法IIGA。實驗結果表明EIG可以生成比積分梯度更優秀的歸因圖，基于信息熵基線的IIGA算法對不同架構的模型都具有較強的白盒攻擊和黑盒攻擊成功率，單步攻擊準確率超過了經典的白盒攻擊算法，黑盒模式中大大提升了對抗樣本的遷移能力，比TAIG 等目前最先進的一些算法表現更優秀。但是IIGA 引入了一些額外計算，在運行時間上處于劣勢。后續將對歸因技術引入對抗攻擊進行更深入的研究。