基于小樣本學習和因果干預的ResNeXt對抗攻擊

王志勇，邢 凱，鄧洪武，李亞鳴，胡 璇

1.中國科學技術大學 網絡空間安全學院，合肥 230026

2.中國科學技術大學 蘇州研究院，江蘇 蘇州 215123

隨著深度學習技術在自動駕駛[1]、自然語言處理、安防監控等[2-3]重要領域中的快速發展和應用，現有的深度學習模型逐步成為了高價值攻擊目標并暴露了一些安全缺陷。研究者提出了多種攻擊手段，通過對正常圖片添加人類難以察覺的各種微小擾動，成功生成了使深度學習模型失效的對抗樣本[4-5]。例如，Worzyk等人[6]使用對抗攻擊算法生成的交通標志能誘導自動駕駛系統做出危險操作。

雖然目前的對抗攻擊技術可以生成對現有深度學習模型具有威脅的對抗樣本，但其需要依賴海量算力和海量數據的支持，在計算效率和攻擊成功率提升方面仍存在較大挑戰。首先，深度學習模型的海量參數以及龐大的樣本解空間導致對抗攻擊需要大量算力。對抗攻擊技術需要基于被攻擊深度學習模型的梯度反向生成圖像擾動，計算過程需要使用海量算力搜索龐大的樣本解空間，尋找最優擾動。此外，深度學習技術發展帶來的一個影響就是深度學習模型的廣度和深度被大大擴展，模型參數量巨大，例如常用的ResNet50參數量為25×106，而ResNet152參數量甚至高達60×106[7]，對算力要求較高。其次，基于海量算力搜索而非結構化分析的方法難以得到最優擾動，限制了對抗攻擊的成功率。Goodfellow等人[8]的研究表明，對抗攻擊方法生成擾動的方向取決于目標輸出對輸入圖像的梯度，即擾動方向依賴于網絡結構，海量算力依舊無法保證擾動方向的最優性，生成的擾動可能會給圖像帶來過大的變化，生成的圖像在人類的視角下已經改變了類別，攻擊失敗。針對這些挑戰，研究者們提出了各種解決方法，不斷推動該領域的發展。

為了降低對抗攻擊技術的算力要求，當前的研究通常將對抗攻擊的優化問題簡化，固定對抗攻擊算法的搜索方向。例如，Goodfellow等人[8]提出了fast gradient sign method（FSGM），僅需沿著梯度方向對原始圖像修改一次。更進一步，Kurakin等人[9]提出iterative gradient sign算法，沿著更優的梯度方向多次修改原始圖像。另一個優化方向是使用生成對抗網絡（GAN）。Xiao等人[10]第一個提出使用GAN生成對抗樣本，并訓練了一個生成器AdvGAN來學習對抗樣本的分布。Jandial等人[11]提出AdvGAN++，使用GAN學習從圖像中間層特征到對抗樣本的過程，而不是學習從原始圖像到對抗樣本的過程。對于FSGM類方法，計算效率較高，但無法得到最優擾動，降低了攻擊成功率，對于GAN類方法，當AdvGAN訓練完成，輸入原始圖像即可直接輸出對應的對抗擾動，但是GAN訓練難度大。

為了提高對抗攻擊的成功率，研究者們不斷嘗試根據深度學習模型的結構尋找更優的擾動方向或者使用Momentum技術優化計算過程。Szegedy等人[12]基于L2范數和交叉熵損失函數提出L-BFGS對抗攻擊算法，使用該攻擊算法能計算出一個擾動方向，并沿著該擾動方向生成對抗樣本。Carlini等人[13]進一步總結對比前人的工作，基于最大化任意類別概率和真實類別概率之間差值的思想提出了C&W’s Attack算法，該算法可以計算出一個更優的擾動方向。此外，由于對抗攻擊算法基于梯度求解最優擾動，Dong等人[14]提出使用Momentum技術優化梯度計算過程，增加擾動方向的穩定性。需要注意的是，深度學習模型使用卷積層提取圖像特征，但是部分網絡結構提取了噪音信息，攻擊提取噪音信息的結構會對圖像產生不必要的擾動，降低對抗攻擊的成功率，所以對抗攻擊技術應該避開噪音結構。

現有的方法大多基于海量算力來搜索合適的噪聲擾動，對算力要求高且搜索效率難以保證，缺少一種結構化的識別深度學習模型弱點的方法。本文利用少量樣本，基于因果干預手段分析了深度學習模型的結構弱點-時不變穩定結構，并基于Wasserstein距離來定位ResNeXt50/ResNeXt101的結構弱點，針對其弱點設計了一種對抗攻擊算法，進一步驗證了其結構性弱點的存在及其有效性，大大提高了對抗攻擊計算效率和成功率。本文的貢獻如下：

（1）提出深度學習模型的結構性弱點分析方法，僅需要少量數據即可定位深度學習模型結構的攻擊弱點。

（2）提出一種基于L∞范數的結構化攻擊方法，可以針對性高效生成對抗樣本。

（3）提出一種針對深度學習模型中間層目標輸出的通用擾動生成方法。

1 相關工作

1.1 Wasserstein距離

Wasserstein距離的起源是最優傳輸理論，描述的是將一個分布轉化為另一個分布需要的最小代價，對于兩個一維分布X、Y，其Wasserstein距離可表示為：

其中F X和FY分別表示X和Y的累積分布函數。

相對于常見度量方式，Wasserstein距離有著如下優勢：

（1）能夠度量離散分布和連續分布之間的距離。

（2）能夠度量兩個沒有交集的分布之間的距離。

（3）考慮了分布的幾何特性，不僅可以計算兩個分布之間的距離，還能從幾何角度解釋兩個分布之間不同之處。

因為Wasserstein距離的優秀性質，很多研究使用Wasserstein距離優化深度學習模型。例如Arjovsky等人[15]提出一種基于Wasserstein距離的生成對抗網絡WGAN，提高深度學習模型訓練的穩定性，克服模式崩潰等問題，Gulrajani等人[16]提出了一種方法代替WGAN中的削減權重方法，進一步提高了WGAN的訓練穩定性，Frogner等人[17]基于Wasserstein距離設計了一種多標簽學習的損失函數。

1.2 對抗攻擊

Szegedy等人[12]第一個提出攻擊深度學習模型的對抗攻擊算法，通過對正常圖像添加微小擾動，制作了一個對抗樣本，這個樣本能夠使當時最優秀的深度學習模型失效。文章提出一種對抗攻擊算法L-BFGS，該方法的目標函數是：

其中I表示原始圖片，f表示深度學習模型，t表示錯誤標簽，c是超參數（最優值可通過搜索得到），該目標函數可以找到一個最小的噪音ε，添加到原始圖片上，得到一張被誤分類為t的對抗樣本。發現對抗樣本現象后，Goodfellow等人[8]證明深度學習模型的高維線性是對抗樣本具有對抗性的原因。當模型具有高維線性時，沿梯度方向的擾動越大，樣本對抗性越強。文章據此提出了一種對抗攻擊算法fast gradient sign method（FGSM）：

其中I′表示對抗樣本，I表示原始樣本。該方法根據各像素點與目標標簽的梯度關系，逐像素修改原始圖像，使得修改后的圖像遠離類別t。后續在FGSM基礎上，Kurakin等人[9]提出iterative gradient sign算法，采用迭代的方式沿著目標方向多次修改原始圖像，得到更優秀的對抗樣本。不同于前述方法使用L∞范數，Papernot等人[18]提出一種基于L0范數的對抗攻擊方法：jacobianbased saliency map attack，該方法計算一個顯著性map，根據這個map定位對目標類別影響最大的像素點，修改這部分像素點，直至圖像被誤分類。Croce等人[19]同時使用L0和L∞范數，進一步提高了對抗攻擊的成功率。基于Goodfellow等人[8]對深度學習模型的高維線性解釋，Moosavi-Dezfooli等人[20]提出DeepFool方法，該方法將深度學習模型視為線性函數，決策邊界視為一個超平面，使用迭代的方式修改原始圖像，使得修改后的圖像越過決策邊界，得到對抗樣本。Carlini等人[13]總結了前人方法，提出了C&W’s Attack方法，該方法將圖像像素值映射到無窮區間，并使用了一個更高效的目標函數。不同于前述使用L范數定義圖像失真度，Laidlaw等人[21]提出使用顏色變化定義圖像失真度，并使用特殊目標函數將圖像中所有紅色像素更改為淺紅色，得到對抗樣本。Sharif等人[22]提出一種算法生成眼鏡狀擾動，并添加到人臉圖片上，得到一張使得深度學習模型失效的對抗樣本。Komkov等人[23]提出AdvHat算法，可以生成一張可打印圖片，將圖片貼在額頭即可使最先進的Face ID模型失效。

不同于前述方法僅僅基于深度學習模型輸出，Sabour等人[24]提出feature adversary方法，該方法的思想是將被攻擊圖像的特征層輸出向著目標類別移動，并證明該方法得到的對抗樣本在特征角度上更加契合總體樣本分布。

最近的研究還將GAN引入對抗攻擊領域，提出AdvGAN，使用GAN網絡生成對抗樣本。AdvGAN架構包括三個部分：生成器G、判別器D、被攻擊網絡f，生成器G用于根據輸入圖像生成對抗樣本，判別器D用于引導G生成與原始圖像難以區分的對抗樣本。傳統方式使用L范數度量限制圖像與原始圖像之間的失真度，而AdvGAN方法使用判別網絡限制生成圖像與原始圖像之間的失真度，可以有效減少對原始圖像的修改，提高攻擊成功率。此外AdvGan中的對抗樣本生成網絡G一旦訓練完成，可以在不接觸被攻擊模型的情況下根據輸入圖像直接輸出對抗樣本。進一步，Zhao等人[25]提出Natural GAN，由原始圖像得到特征向量，對特征向量進行擾動，通過擾動后的特征重構出更加自然的對抗樣本。

2 深度學習模型時不變穩定結構弱點分析方法

2.1 基于數據增強技術的序列數據調制生成

因果關系可以更好的理解深度學習模型的機制[26]，而深度學習模型的時不變穩定結構可以識別出輸入輸出之間的因果關系，因此可以通過因果分析定位時不變穩定結構。Peters等人[27]的研究表明，相對于非時序數據，通過時序數據分析因果關系的時候，需要的假設條件較少，效果較好。例如格蘭杰因果關系檢驗[28-29]，該方法檢驗一組時序數據是否可用于預測另一組時序數據。

為了便于進行因果分析，需要將圖像數據這樣的非序列數據轉換為序列數據進行因果分析，定位時不變穩定結構。本文使用數據增強技術，經過調制干預，將非時序圖像數據生成為序列數據。

數據增強技術[30-31]常用來擴展數據集，幫助深度學習模型學習到更多的信息，減少過擬合，提高深度學習模型泛化性能，其原理是，在不改變物種屬性情況下為圖像添加噪音，例如高斯模糊、圖像縮放、圖像旋轉、物體位移，這些數據增強方式不會改變圖像類別信息，僅會帶來分辨率、尺度、視角、位置方面的圖像噪音。本文定義了一個調制曲線，通過從調制曲線上獲得的參數，將一張圖片增強為多張連續變化的圖片，獲得序列數據。

本文序列數據調制過程描述為：

Subject that：

其中yi表示序列中第i個數據，G表示增強函數（此處以高斯模糊為例），r i表示從調制曲線r上選取的第i個參數，x表示原始圖像，使用第i個參數將原始圖像x增強為第i個數據，共100次，得到長度為100的序列圖像數據。

本文選擇的數據增強技術包括高斯模糊、圖像縮放、物體位移。

2.2 時不變穩定結構

本文將調制序列數據類比于時間序列數據，其時不變穩定性即為深度學習模型在處理經調制干預后的序列數據時，能提取與輸入序列有對應調制關系的信號，不受數據增強過程中人為添加的噪聲影響。

Pearl等人[32]的研究認為，學習因果關系的人工智能需要具備三種不同層級的認知能力：觀察能力、行動能力、想象能力。觀察能力是指通過學習識別數據之間關聯性的能力，行動能力是指能通過干預實驗學習對數據干預后的結果，并且能根據學到的信息實現期望的結果，想象能力是指反事實推理能力，能夠推測產生某種結果的原因。文獻[32]認為目前的深度學習模型具備觀察能力，部分網絡結構具備行動能力，因此本文結合文獻[32]的介紹，給出深度學習模型的時不變穩定性定義。首先，對圖片使用數據增強技術后，產生的輸入圖像序列和神經元輸出序列之間存在有對應調制關系的因果性，表現為神經元輸出序列和調制曲線之間存在一致的變化趨勢，這個一致性可以使用格蘭杰因果關系檢驗判斷。其次，對同類別不同圖像使用數據增強技術后，神經元處的輸出序列之間理應存在明顯的相似性，因為相同類別的圖像經過理想模型處理后會表達出相同的類別特征，且相同的類別特征具有一致的變化規律，表現為同類圖像的輸出序列之間存在相似性。再次，對不同類別圖像使用數據增強技術后，神經元處的輸出序列之間理應存在明確的差異性，因為不同類別的圖像經過理想模型處理后應該表達出不同的類別特征，不同的類別特征具有不一致的變化規律，表現為不同類圖像的輸出序列之間有顯著差異。最后，對同類圖片使用數據增強技術后，神經元處的輸出序列具有穩定性，因為數據增強技術不會改變圖像的類別特征信息，增強后的圖片具有和原圖片一致的類別特征，表現為輸出序列的方差較小。

基于上述分析，給出時不變穩定性形式化定義。

首先定義調制參數序列：

使用2.1節序列數據生成方式得到圖像數據序列：

在神經元處得到各個圖像數據的特征值序列：

則parameter與feature兩序列間存在因果性的結構即為時不變穩定結構：

2.3 基于Wasserstein距離的時不變穩定結構定位方法

根據前文時不變穩定結構性質介紹，本節通過調制干預后的序列數據來定位時不變穩定結構。Pearl等人[32]認為，通過干預可以控制混雜因子，進一步識別出因果關系，時不變穩定結構定位過程與該思想一致，即當固定其他變量，僅對輸入數據進行干預，則時不變穩定結構的輸出對干預有匹配的響應[33]。

深度學習模型的時不變穩定結構可以識別輸入輸出間因果關系，能克服數據增強帶來的噪音，從輸入圖像中提取有效信息作為輸出。對于圖像序列，時不變穩定結構的輸出序列與輸入圖像序列之間具有一致性，同時因為輸入圖像序列均為同一圖像的調制結果，分布間距離理應較小，因此時不變穩定結構的輸出序列分布間距離也應該較小。在考慮到Wasserstein距離的對稱性以及幾何特性，本文選擇Wasserstein距離來度量分布間距離。考慮到本文的輸入序列數據和深度學習模型輸出之間的關系[29]，本文使用格蘭杰因果關系檢驗來識別其時不變穩定結構。

對于同一張或同一類數據，本文使用數據增強技術調制，本文設計了圖1的增強數據矩陣，增強過程可描述為，對一組同類圖像使用一致的數據增強技術，增強多步。每個數據序列在時不變穩定性神經元處輸出分布都具有相似性，此時使用Wasserstein距離度量相鄰分布之間的距離，得到一階差分序列，將該序列定義為2.2節中的feature序列，采用格蘭杰因果關系檢驗來逐個判定高層神經元及其對應子結構的穩定性：

圖1 序列增強數據示意圖Fig.1 Schematic diagram of time series enhanced data

3 針對卷積神經網絡結構性弱點的對抗樣本生成方法

卷積神經網絡通過卷積結構從圖像中提取信息，并通過進一步的卷積操作將局部特征信息融合為高維抽象特征，提高神經元視野范圍。不同部分和層次的網絡結構能夠提取不同的信息。

考慮到時不變穩定結構能夠識別原始圖像和添加噪聲后的調制圖像間的穩定調制關系，即能排除一般噪聲干擾，提取有效信息。根據反事實推理[32]，攻擊時不變穩定結構自然會影響深度學習模型的有效信息提取，因此時不變穩定結構是卷積神經網絡的攻擊弱點之一。

基于前述分析，本文使用時不變穩定結構優化GAN及傳統對抗攻擊技術。目前主流方法的目標是降低深度學習模型分類層正確類別對應的輸出值，而本文方法的目標是降低時不變穩定結構的輸出有效性，使得時不變穩定結構不再能夠從輸入中排除噪聲干擾，也即不能得到具有因果性的輸出。

此外，Szegedy等人[12]認為卷積神經網絡通過卷積層的特征空間保存高級語義信息，而非使用單個神經元保存高級語義信息，所以攻擊卷積神經網絡時應該攻擊卷積層特征空間，因此對抗攻擊算法應將整個卷積層作為攻擊目標，基于卷積層空間，使用海量算力搜索合適的噪聲擾動。因此，本文的攻擊方法也應該針對特征空間而非單個時不變穩定結構。

由此，本文考慮由時不變穩定結構以及噪音結構的輸出組成的特征空間，通過第2章介紹的定位方法可以定位出全部時不變穩定結構，而由這些時不變穩定結構輸出組成的卷積層特征子空間可以排除噪音干擾，穩定地提取出有效信息。因此本文所設計的攻擊方法針對時不變穩定特征子空間進行攻擊，首先可以更高效地在特征空間中識別出能影響這些子結構的噪聲擾動方向。其次可以降低算力要求，因為算法的搜索域從原始特征空間縮小為其子空間，計算規模下降了多個數量級，僅需較少的算力即可從特征子空間中搜索出最優擾動，使得對抗樣本的生成效率大大提高。

需要注意的是，不同類別具有不同的時不變穩定結構集合，但是這些結構從因果性角度具有相似的意義，因此針對時不變穩定結構的對抗攻擊方法可以適用于任何類別。

根據上述分析，本文進一步提出一種針對深度學習模型時不變穩定結構的多類別通用擾動生成方法，將時不變穩定結構組成的特征子空間作為攻擊目標，通過計算為圖像添加對抗性擾動，降低該特征子空間輸出的有效信號值，即可促使深度學習模型輸出錯誤類別，進而實現對抗攻擊。

具體地，在與原始圖像各部分最大像素值差小于σ的有限搜索空間中找到噪聲分布，該分布對應的圖片能使特征子空間的平均輸出值最小，該圖片就是對抗樣本。基于該目標，本文提出一種基于L∞范數的對抗樣本生成方法，采用的目標函數如下：

其中f k表示被攻擊深度學習模型中的第k個時不變穩定結構的輸出，I′表示對抗樣本，I表示原始樣本，σ表示對抗樣本與原始樣本最大像素值差，可自選值（本文中σ=20）。

基于Goodfellow等人[8]的啟發，本文采用迭代的方式實現生成過程，可以進一步降低對抗攻擊的算力要求：

其中α表示步長，σα表示最長迭代步數，迭代過程中通過時不變穩定結構組成的特征子空間計算最優搜索方向，沿該方向搜索最優擾動。

整體流程圖見圖2，首先選定攻擊類別，使用基于Wasserstein距離的方法定位時不變穩定結構，并組建卷積層特征子空間，作為攻擊目標。然后選定原始照片，基于本節的攻擊方法，迭代求解能最大化降低目標特征子空間平均輸出的圖像擾動，將該擾動添加到原始圖像上，直到圖像被誤分類（攻擊成功）或者達到失真點（攻擊失敗）。

圖2 攻擊架構Fig.2 Attack architecture

最后，本文定義的判斷時不變穩定結構的方法是基于該結構能提取高級抽象特征，所以需要在表達能力比較強的特征層上進行計算。Alexander等人[34]評估了常見深度學習模型各層輸出特征的表達能力，實驗發現ResNeXt的特征表達能力逐層提高，因為ResNeXt帶有殘差結構，能夠保持表達能力。因此，本文選擇最后一層卷積層作為目標層。

4 理論分析

Madry等人[35-36]認為微調圖像，使圖像區別于訓練集數據分布，可以生成對抗樣本，而區別于訓練集的數據（out-of-distribution samples）可以使用基于能量得分的方法區分[37-39]。本文提出的方法可以從能量分析的角度出發，通過給圖像添加人類難以察覺的微小擾動，降低卷積層特征子空間的輸出值，降低圖像能量得分，將訓練集數據逐漸修改為out-of-distribution數據，直至生成對抗樣本或者失敗。

首先從能量角度給出圖像x被分為各個類別的概率：

其中E(x,y)是能量函數，表示圖像x和類別y的匹配度，能量越低，表示匹配度越高。

數據x的亥姆霍茲自由能為：

對于K分類深度學習模型來說，其分類層有K個輸出值，對應K個類別，則圖像x被分為各個類別的概率：

其中f i(x)表示將圖像x輸入神經網絡后得到的第i個輸出。

聯立等式（1）和等式（3），可得：

聯立等式（2）和等式（4），可得：

為了判別圖像x是否為out-of-distribution數據，可以使用x的概率密度函數，圖像出現的概率低就表示圖像屬于out-of-distribution數據，由前述定義給出圖像x出現概率：

兩邊取ln，可得：

本文將-E(x;f)定義為能量得分，通過等式（7）可以看出-E(x;f)和lnp(x)呈線性關系，能量得分越低，圖像出現概率越低，即圖像屬于out-of-distribution數據。

5 實驗

5.1 實驗設置

本文選用ImageNet LSVRC-2012數據集，被攻擊的深度學習模型包括ResNeXt50以及ResNeXt101，均為PyTorch預訓練模型。本文采用攻擊成功率，攻擊計算時間以及對抗樣本L∞失真度作為評價指標，和C&W’s Attack以及Feature Adversary方法進行對比，并且基于召回率和能量得分評價攻擊過程。

5.2 卷積結構神經網絡時不變穩定性分析

使用第2章時不變穩定結構定位方法，分別計算ResNeXt50以及ResNeXt101各神經元輸出序列的方差，如圖3和圖4所示。

圖3 ResNeXt50神經元輸出序列的方差Fig.3 Variance of ResNeXt50 neuron output sequence

圖4 ResNeXt101神經元輸出序列的方差Fig.4 Variance of ResNeXt101 neuron output sequence

圖中橫坐標表示了神經元編號，縱坐標表示每個神經元處的方差，為了便于查看，本文按照方差從小到大的順序對神經元進行編號，得到圖3和圖4。按照時不變穩定結構定義，方差較小的神經元具備時不變穩定性。從圖中可以看出ResNeXt系列具有相似的性質，有70%的神經元方差接近0（時不變穩定結構），這一現象出現在各種類別中，本文展示了兩個類別結果，證明了時不變穩定結構的廣泛存在性。

5.3 基于召回率的攻擊效果分析

為了驗證時不變穩定結構的關鍵性和脆弱性，本節設計了以召回率作為指標的評價實驗。將ResNeXt50/ResNeXt101全部神經元按照方差從小到大排序，選擇方差最小的1/10神經元為一組，該組為時不變穩定結構，同時選擇方差最大的1/10神經元為另一組，該組為非時不變穩定結構。對兩組神經元做相同的干擾（每個神經元乘以一個倍數），查看深度學習模型召回率變化，得到圖5和圖6。

圖5 ResNeXt50不同結構受干擾后召回率變化Fig.5 Recall change of ResNeXt50after different structures disturbed

圖6 ResNeXt101不同結構受干擾后召回率變化Fig.6 Recall Change of ResNeXt101 after different structures disturbed

圖中橫坐標表示干擾倍數，縱坐標是召回率。圖中紅色實線表示方差最小的1/10神經元，藍色虛線表示方差最大的1/10神經元，兩曲線交匯處是深度學習模型的原始召回率。從圖中可以得出：

（1）降低時不變穩定結構的輸出值（倍數小于1），ResNeXt50召回率快速下降至0，ResNeXt101召回率快速下降至0.2，而降低非時不變穩定結構的輸出值后，ResNeXt50/ResNeXt101召回率變化都很小，證明了時不變穩定結構的關鍵性，時不變穩定結構的輸出信號保證了深度學習模型的分類準確性。

（2）觀察紅藍兩曲線的斜率，可以看出紅色曲線（時不變穩定結構）斜率遠大于藍色曲線，說明時不變穩定結構更易收到干擾，證明了時不變穩定結構的脆弱性。

5.4 基于能量得分的攻擊過程分析

能量得分越低，圖像出現概率越低，即圖像區別于訓練集數據。為了驗證本文的方法可通過微調降低圖像的能量得分，如圖7展示了本方法迭代過程中圖像的能量得分變化過程。

圖7 生成對抗樣本過程中能量得分變化Fig.7 Energy score changes during process of generating adversarial examples

圖中紅色直線表示原始圖像的能量得分，藍色虛線表示算法迭代過程中能量得分變化過程，從圖中可以看出本算法能有效通過微調圖像降低能量得分，使圖像區別于訓練集數據，最終得到對抗樣本，使深度學習模型失效。

5.5 卷積結構神經網絡攻擊效果分析

首先展示部分攻擊效果圖，圖8中展示了三張對抗樣本：第一張Chihuahua圖片添加干擾后得到一張被誤分類為French bulldog的圖片；第二張stingray添加干擾后得到一張被誤分類為numbfish的圖片；第三張terrapin添加干擾后得到一張被誤分類為mud turtle的圖片，對原始圖像的修改均較小。

圖8 對抗樣本展示Fig.8 Adversarial sample display

然后分析本方法的計算效率。以ResNeXt50為例，對抗攻擊的計算過程需要根據深度學習模型輸出對輸入的梯度確定搜索方向，沿著該方向計算擾動，并判斷該擾動能否生成對抗樣本。該過程需要迭代多次直到攻擊成功或者失敗。根據鏈式求導法則：

（1）之前方法。基于ResNeXt50分類層，計算梯度過程的計算量為1×2 048×2 048×7×7×N，N表示卷積層計算量，此外，由于之前的方法難以得到最優擾動，需要較多次迭代才能攻擊成功。

（2）本文方法。基于ResNeXt50最后一層卷積層的2 000個神經元，因此計算梯度的計算量為2 000×N。且本文的攻擊方法能得到更優擾動，需要較少次數的迭代即可完成對抗攻擊。綜上，本方法計算量遠小于之前方法。

最后，本文選擇了1 000張圖片作為被攻擊對象，對比了之前的對抗樣本生成方法和本文方法的平均效果，指標包括對抗樣本L∞失真度（對抗樣本和原始樣本的L∞距離），攻擊成功率（本文設定σ＞20為攻擊失敗）以及平均攻擊時間（不包含攻擊失敗樣本），如表1所示。

表1 傳統方法與本文提出的方法對比Table 1 Comparison of traditional methods and proposed method in this paper

從實驗結果可以看出，本文的方法在三項指標上均優于之前的對抗攻擊方法。

6 結論

本文介紹了一種深度學習模型的時不變穩定結構，并提出了一種基于Wasserstein距離的定位方法，理論分析和實驗表明時不變穩定結構是一種攻擊弱點，最后針對該弱點提出了一種計算效率和成功率更高的對抗樣本生成方法。本方法中使用的時不變穩定結構以及針對深度學習模型的結構弱點的思想，給后續對抗攻擊方法研究提供了很好的方向。后續計劃將基于深度學習模型的時不變穩定結構提高深度學習模型的泛化能力。