基于深度神經網絡的對抗樣本技術綜述

白祉旭，王衡軍，郭可翔

戰略支援部隊信息工程大學，鄭州 450001

隨著深度學習的崛起，人工智能迎來了新一輪的熱潮，在越來越多的領域中發揮著重要的作用，如計算機視覺、自然語言處理等。在大數據的支撐下，深度神經網絡在圖像識別和目標檢測領域中擁有驚人的表現，使得大量基于深度學習的應用在現實世界中廣泛投入使用，尤其是在很多與安全相關的環境中的實際應用，如手機支付、自動駕駛汽車、無人機偵察等，深度神經網絡的安全逐漸成為人工智能安全問題中研究的重點。

盡管深度神經網絡在大多數分類任務中擁有良好的表現，但在面對對抗樣本時則顯得十分脆弱。對抗樣本是在數據集中通過故意添加細微擾動所形成的輸入樣本，這些樣本能夠誘導機器學習模型進行錯誤的分類，對模型的安全形成威脅。最新的研究表明，對抗樣本可以應用于現實世界。例如，日常生活中使用對抗樣本面具偽裝機主身份，欺騙智能手機人臉識別系統，造成個人身份信息泄露和財產損失；交通出行中使用對抗樣本替代路邊的停車標志，誘導自動駕駛汽車對交通標志錯誤識別，引發嚴重的交通事故；軍事行動中，使用對抗樣本補丁作為迷彩圖案，添加到重要的軍事設施和作訓服中，誘導敵方無人機偵察系統判斷錯誤，以達到擾亂敵方的目的。另一方面，對于模型設計者來說，對抗樣本可以作為評估模型安全性[1]和魯棒性的有效工具，通過對抗訓練，能有效提升模型分類的正確率和安全性。

本文的主要貢獻是：一歸納總結現階段對抗樣本生成的研究工作，對其產生原因及原理進行詳細介紹；二將對抗樣本攻擊技術分為白盒攻擊[2]和黑盒攻擊[3]兩大類進行介紹，并總結分析其中典型方法的優缺點；三設置實驗對典型對抗樣本生成方法進行復現，通過實驗結果對比，分析典型方法的優劣及生成對抗樣本過程中面臨的問題。

1 對抗樣本的起源和基本原理

對抗樣本（adversarial examples）是指經過故意添加擾動的能夠誘導分類模型產生錯誤判斷的輸入樣本。這類具有偽裝能力的樣本能夠利用模型自身的脆弱性對其進行攻擊，誘導模型將樣本以大概率分為錯誤的類。

1.1 對抗樣本的提出

2013年Szegedy等人[4]首次提出“對抗樣本”這一概念，對抗樣本利用難以察覺的擾動，使網絡的預測誤差最大化，導致網絡進行錯誤分類。這些“擾動”并非學習過程中的隨機干擾，而是人為構造的能“欺騙”神經網絡的擾動δ，如公式（1）：

式中，δ表示需要添加的擾動，C表示神經網絡分類器，x表示原始圖像，I表示指定的類。由于‖‖δ2的最小值實際上是不容易計算的，因此引入損失函數將公式（1）變為公式（2）：

式中，J表示損失函數，通過計算交叉熵實現。

1.2 對抗樣本產生的原因

對抗樣本出現之初，大家普遍認為模型的非線性是導致對抗樣本產生的直接原因[5]，直到后來，Goodfellow等人[6]證實模型在高維空間呈線性，在線性方向引入擾動能誘導模型分類出現明顯錯誤，即在圖像中添加的微小擾動，經過高維空間的放大，使模型對圖像產生錯誤分類[7]。目前解釋對抗樣本攻擊能夠成功的觀點主要有三種：高維空間的線性模型解釋、數據流行中的低概率區域解釋和模型決策邊界解釋。

1.3 基本原理

1.3.1 神經網絡基本原理

神經網絡是由神經元組成的大型神經網絡。人們提出的神經元模型有很多，其中影響力最大的是1943年心理學家McCulloch和數學家Pitts提出的M-P模型，如圖1所示。

圖1 人工神經元M-P模型示意Fig.1 Schematic representation of artificial neuron M-P model

人工神經元M-P模型的工作原理可表示為公式（3）：

其中，x(i)表示來自其他神經元的輸入信息；ω(i)表示輸入信息x(i)對應的連接系數值；θ表示閾值，模擬生物神經元的興奮限度；f(·)表示激勵函數。模型學習的過程就是通過反向傳播不斷調整內部參數，使得模型對輸入樣本的預測結果與樣本真實標簽最接近的過程。

1.3.2 對抗樣本基本原理

2014年，Goodfellow等人[6]提出對抗樣本的攻擊原理是利用神經網絡的高維線性，使添加了“擾動”的輸入樣本，經過高維空間中多個線性函數變換后，將導致函數結果發生巨大變化，最終造成模型錯誤分類，如公式（4）：

其中，x為原始樣本，xˉ表示對抗樣本，δ表示向輸入樣本中添加的擾動，ω表示高維空間中線性函數的權重值，維度越高，權重越大。可以發現：神經網絡的維度越高，“擾動”經過放大后的值ωTδ越大。

2 對抗樣本生成方法分類與總結分析

按照主流的分類方法可以將對抗樣本分為：白盒攻擊和黑盒攻擊兩類。白盒方法中設計者事先知道分類模型包括結構、參數和權重等的全部信息。白盒方法產生的對抗樣本對特定模型攻擊效果好，但可遷移性較差。黑盒方法中設計者不掌握分類模型內部結構和參數屬性，黑盒方法根據不同模型的隱藏細節又分為輸出透明、標簽透明、查詢限制和完整的黑盒攻擊。

可以發現，使用以上標準進行分類并不能反映生成方法的全部細節，故引入二級交叉分類標準。Kaggle組織的NIPS大賽根據對抗樣本期望模型預測結果的不同，將對抗樣本分為無特定目標攻擊（Non-targeted Attack）[8]和特定目標攻擊（Targeted Attack）[9]。無特定目標攻擊方法產生的對抗樣本力求使得模型盡可能多地產生錯誤分類；特定目標攻擊方法生成的對抗樣本要求被分類為指定標簽，即該方法生成的對抗樣本需要使分類模型錯誤地將其分類到指定的分類中[10]。生成對抗樣本時，添加擾動的范圍也是人們關注的重點，故又可以將對抗樣本生成方法分為全像素添加擾動和部分像素添加擾動[11]。全像素添加擾動是無差異化地在圖像全部像素進行擾動添加，其側重于對抗性和可遷移性的提升。部分像素添加擾動則是要找到圖像中對輸出影響最大的部分像素點，其更注重精準高效。

綜上本文采用交叉分類的方法對對抗樣本生成方法進行劃分介紹，以白盒攻擊生成方法和黑盒攻擊生成方法作為大分類，再以特定目標攻擊、無特定目標攻擊和全像素添加擾動、部分像素添加擾動進行細分。如圖2。

2.1 白盒攻擊

2.1.1 FGSM

快速梯度符號法（Fast Gradient Sign Method）攻擊法由Goodfellow等人提出，其中“擾動”及對抗樣本的計算，如公式（5）和公式（6）：

其中，δ表示“擾動”；sign表示符號函數；x為原始數據，像素的值是[0，255，255]范圍內的整數；ytrue表示原始數據x所對應的正確標簽；?xJ(x,θ,ytrue)為模型的交叉熵損失函數；參數ε控制添加擾動的大小。在此基礎上，Miyato等人提出利用二范數歸一化方法算計擾動，如公式（7）：

FGSM作為對抗樣本生成方法中的元老，一直是從事對抗樣本研究人員最早接觸的方法之一，后來許多的對抗樣本生成方法都是在FGSM進行改進而得來的，其生成的對抗樣本具有方法簡單、可遷移性好的特點[12]。FGSM方法通常用于全像素添加擾動的非特定目標攻擊。

2.1.2 I-FGSM

在FGSM算法的基礎上，Kurakin等人[13]提出了迭代快速梯度符號法（Iterative Fast Gradient Sign Method），其對抗樣本計算，如公式（8）：

其中，x表示原始圖像，像素的值是[0，255，255]范圍內的整數；ytrue是輸入樣本x對應的正確標簽；?xJ(x,θ,ytrue)為交叉熵；Clip表示裁剪函數，其作用保證每輪迭代中在像素點上添加的擾動均不超出像素點的ε鄰域，且不會超過圖像最初定義的最大值255。I-FGSM方法是對FGSM方法的優化，將一步梯度優化為多步迭代，通過多步迭代計算得到的擾動更小更精確，所得到的對抗樣本對抗性更好也更加接近原始圖像，通常用于全像素添加擾動的非特定目標攻擊。

圖2 算法分類Fig.2 Algorithm classification

2.1.3 MI-FGSM

動量迭代快速梯度符號法（Momentum Iterative Fast Gradient Sign Method）由Dong等人[14]提出，引入動量迭代方法的對抗樣本計算，如公式（9）：

MI-FGSM方法是對I-FGSM方法的改進，通過引入動量，能夠有效避免陷入局部最優，從而提高了對抗樣本的對抗性和可遷移性。MI-FGSM方法對白盒模型擁有更好的攻擊效果，對黑盒模型的攻擊成功率較FGSM及I-FGSM方法有明顯的提升，但實際的黑盒攻擊效果仍然一般，MI-FGSM方法通常用于全像素添加擾動的非特定目標攻擊。

2.1.4 DeepFool

基于梯度迭代法，Moosavi-Dezfooli等人[15]提出Deep-Fool對抗樣本生成方法，其對抗樣本的計算，如公式（11）：

迭代式中，擾動的計算變為公式（12）：

DeepFool方法與FGSM方法擁有同等對抗性時，對圖像添加的擾動更小，魯棒性也最好。DeepFool法通常用于全像素添加擾動的非特定目標攻擊。

2.1.5 C＆W

在總結前人對抗樣本生成方法優點的基礎上，Carlini等人[16]提出一個對抗樣本里程碑式的生成方法，C&W方法。其對抗樣本計算，如公式（13）所示：

其中，t表示對抗樣本，x表示原始圖像，δ表示每輪迭代添加的擾動，D是距離度量函數，方法創新地引入f(t)函數，用以控制圖像在小范圍內變化。

C&W方法分別使用I0、I2和I∞三種距離度量方法。I0在梯度下降法的基礎上引入迭代，通過數輪迭代篩選出所有對分類影響小的像素點進行舍棄，對余下的像素進行擾動處理，如公式（14）：得到的，參數ω控制擾動取最小值。I2通過參數調整，平衡樣本修改程度與像素數量，如公式（15）：

其中擾動通過計算

I∞限制了對原始圖像修改程度的上限如公式（16）：

為了使速度更快、梯度下降效果更好，變公式（16）為公式（17）：

C&W方法通過調節參數大小在白盒攻擊與黑盒攻擊之間切換，增強了對抗樣本的可遷移性，但生成過程中算法迭代次數過多，增加了系統成本。C&W法通常用于全像素添加擾動的特定目標攻擊。

2.1.6 ILCM

在BIM方法基礎上，Kurakin等人[17]提出Iteratice Least-Likely Class Method（ILCM）方法。其對抗樣本計算，如公式（18）：

其中，Clip表示修剪函數；α為步長，通常設定為1，表示在每輪迭代中僅修改一個像素點。ILCM方法將BIM方法中的無特定目標攻擊變化為特定目標攻擊，將公式（18）中的標簽ytrue改成了特定的攻擊類YLL，如公式（19）：

該方法首先計算出樣本與特定攻擊類之間的交叉熵，再計算每輪迭代中樣本沿梯度方向與交叉熵的差值，并利用修剪函數對結果進行處理，如公式（20）：

ILCM方法與FGSM相比，是通用計算梯度方向上對抗樣本與目標分類之間的交叉熵，然后進行迭代，使樣本標簽逐漸靠近目標分類，使最終得到的對抗樣本能夠誘導模型，將對抗樣本錯誤地分類為特定目標，其更側重于明確的目標。ILCM法通常用于全像素添加擾動的特定目標攻擊。

2.1.7 JSMA

基于深度神經網絡分類原理，Papernot等人[18]提出JSMA對抗樣本生成方法進行特定目標攻擊，首先計算前向導數，如公式（21）所示：

F(·)表示神經網絡函數，X表示輸入樣本，xi的下標i表示第i個維度。神經網絡分類的原理，如公式（22）：

樣本X的真實分類結果為j，希望模型將其分類為t，如公式（23）：

計算前向導數與傳統方法計算交叉熵的方式不同，前向導數是由模型確定的而非損失函數，該生成方法更注重特征的權重，運用遞歸方法將隱藏層進行區分[19]，如公式（24）：

其中，Hk(X)表示隱藏層的輸出，fk,p表示激勵函數，其中下標k表示神經網絡的第k層數，下標p表示該層中的第p個神經元。利用前向導數，找到輸入樣本與目標分類的顯著性映射關系，從而，挑選出權重大的像素點添加擾動，如公式（25）：

其中，Xi表示樣本X的第i個特征。利用前向導數量化輸入樣本中每個特征與目標分類的相關程度。與前幾各方法相比，JSMA方法使用顯著圖可以有效地剔除與目標類別不相關的特征[20]，有效地節約了系統資源，提高了對抗樣本圖像的可觀性。JSMA法通常用于部分像素添加擾動的特定目標攻擊。

2.2 黑盒攻擊

2.2.1 Curls&Whey

Curls&Whey由Shi等人[21]提出，其對抗樣本計算，如公式（26）所示：

其中，x表示原始圖像，表示第t輪迭代得到的對抗樣本；Clip表示裁剪函數；表示替代模型中的交叉熵；表示目標模型的交叉熵；gt+1表示下一輪迭代的梯度。Curls&Whey方法是在MI-FGSM方法的基礎上，通過引入卷曲迭代法提高生成樣本的可遷移性，與MI-FGSM方法相比，黑盒攻擊效果更好，可遷移性更強，但占用系統資源較多[22]，Curls&Whey方法通常用于全像素添加擾動的無特定目標攻擊。

2.2.2 UPSET AND ANGRI

UPSET AND ANGRI方法由Sarkar等人[23]提出，表示UPSET和ANGRI兩種面向黑盒攻擊的對抗樣本生成方法。UPSET方法使用對抗生成網絡R生成特定目標攻擊的對抗樣本，如公式（27）：

其中，x′表示對抗樣本；U表示UPSET網絡；t表示特定目標類別；R表示對抗生成網絡，需要在R網絡輸出上添加參數s，通常設置為2，保證網絡輸出在[-1，1]，訓練過程如圖3。

圖3 UPSET訓練過程圖Fig.3 UPSET training process diagram

其中，C表示分類器；表示誤分類損失函數，如果模型不能對目標類t進行正確預測，則懲罰生成網絡；表示損失函數，用于控制添加擾動的大小，限制輸入圖像與輸出圖像的相似程度；ω表示權重，用來權衡生成的對抗實例的逼真程度和對模型的對抗性。ANGRI方法與UPSET方法一同提出，該方法添加的擾動高度依賴原始圖像，針對性強[24]，但可遷移性差。A表示ANGRI網絡，訓練流程如圖4。

圖4 ANGRI訓練過程圖Fig.4 ANGRI training process diagram

UPSET AND ANGRI方法通常用于全像素添加擾動的特定目標攻擊。

2.2.3 LaVAN

LaVAN方法由Karmon等人[25]提出，使用對抗補丁的攻擊方式，將擾動添加到圖像中一個閉合的小區域內，且不對添加擾動的大小進行限制。LaVAN方法與Printable Adversarial Patches方法相似，不同的是打印對抗補丁方法主要應用于實際生活中[26]，對抗圖像的計算，如公式（28）：

其中，X表示對抗樣本；⊙表示像素乘積；δ表示攻擊噪聲。另一方面，創造了一個新的對抗目標，將不同類別的特征在空間上進行區別，并加速函數收斂，如公式（30）：

其中，M(·)表示softmax層之前的logits向量。LaVAN法與傳統基于梯度迭代的對抗樣本生成方法不同的是無須計算擾動，采用直接添加補丁的方式生成對抗樣本，通常用于部分像素添加擾動的無特定目標攻擊。

2.2.4 PS-GAN

感知敏感性生成對抗網絡（PS-GAN）方法由Liu等人[27]提出，該方法將注意力機制融入其中，實現補丁到補丁的轉換，其對抗樣本計算，如公式（31）：

其中，G(δ)表示更新后的補丁，M(x)表示原始圖像中適合添加補丁的位置，為了使圖像質量更好，對GAN網絡進行訓練，如公式（32）：

利用GAN網絡二范數法，使新生成的補丁與老補丁之間距離盡可能得小，如公式（33）所示：

在此基礎上，引入attention機制，如公式（34）：

最后將公式（32）、（33）和（34）的結果進行組合，固定G模型，對D模型訓練，得到最終塊生成式如公式（35）：

PS-GAN法通常用于部分像素添加擾動的特定目標攻擊。

2.2.5 ONE-PIXEL

單像素攻擊方法由Su等人[28]提出，傳統對抗樣本生成方法大都在圖像的全部像素點添加擾動，容易造成圖像質量嚴重下降[29]，ONE-PIXEL方法提出僅對單個像素點或少部分像素點添加擾動，生成對抗樣本。該方法基于差分進化法，其對抗樣本計算，如公式（36）：

其中，f表示分類器；d表示一個很小的數，單個像素攻擊時，d的值置為1。計算添加的擾動時，該方法采用編碼處理，將擾動編成一個陣列，使用差分進化優化方法處理擾動陣列。每個擾動陣列構成的元組都包含五個元素，表示擾動的位置信息和色彩信息（RGB），最后對元組進行迭代，如公式（37）：

其中，Xi表示待選元素；F通常置為0.5；g表示生成指標；r表示隨機數組。每個待選元素生成后根據指數值與其對應的父代元素進行競爭，優勝元素進入下一個迭代中，通過數輪迭代，生產最終的擾動結果。ONE-PIXEL法通常用于部分像素添加擾動的無特定目標攻擊。

2.2.6 Universal Adversarial

Universal Adversarial方 法 由Moosavidezfooli等人[30]提出，是一種通用性擾動的生成方法。其對抗樣本計算，如公式（38）：

利用Pp,ε(v+Δvi)對擾動進行更新，當向量組Xv={X1+v,X2+v,…,Xm+v}超過目標閾值時停止迭代，如公式（39）：

Universal Adversarial方法通常用于部分像素添加擾動無特定目標攻擊。

2.2.7 Adversarial Patch

Adversarial Patch由Brown等人[31]提出，補丁計算，如公式（40）：

其中，A(p,x,l,t)表示補丁的運算符；x表示原始圖像，t表示變換方式，p表示圖像所添加的補丁，l表示補丁添加的位置，Adversarial Patch法通常用于部分像素添加擾動的特定目標攻擊。

2.2.8 Printable Adversarial Patches

Printable Adversarial Patches方法由Thys等人[32]提出，是一種生成對抗樣本斑塊的方法，如公式（41）～（43）：

Printable Adversarial Patches法通常用于部分像素添加擾動的特定目標攻擊。

2.2.9 SI-adv

SI-adv攻擊方法由Croce等人[33]提出，是一種基于高度稀疏算法的對抗樣本生成方法。其對抗樣本計算，如公式（44）：

SI-adv方法通常用于部分像素添加擾動的無特定目標攻擊。

表1 對抗樣本生成方法比較Table 1 Comparison of antagonistic sample generation methods

2.3 總結分析

通過對對抗樣本生成技術的整理總結分析可以發現，對抗樣本生成技術基本上都是基于梯度方法，衡量一個對抗樣本生成方法的好壞可以從生成時間、可遷移性、攻擊模型的成功率及占用系統資源幾個方面考慮。FGSM通常作為大多數對抗樣本生成方法好壞的比較對象，通過對老方法的改進以獲得攻擊效果更好，生成時間更短的對抗樣本生成方法。按照方法提出的先后順利，本文選取典型的對抗樣本生成方法進行分析比較比較如表1。

3 實驗復現及性能比較

本章分別挑選典型對抗樣本生成方法中基于梯度攻擊的FGSM、I-FGSM和MI-FGSM方法進行實驗復現，以對抗樣本攻擊模型的成功率作為評價標準，分析三種對抗樣本生成方法的優缺點。

3.1 模型介紹

實驗選取殘差網絡ResNet-152和卷積網絡Inceptionv3作為對抗樣本的攻擊模型。ResNet因在2015年ImageNet比賽分類任務上獲得第一名而被大家熟知。ResNet152模型共有152層，通過抑制梯度消散和網絡退化加速訓練收斂，有效解決了層數多導致收斂慢的問題，使網絡的層數得以增加。Inception由Google提出，用于實現CNN模型在增加網絡深度的同時增加模型的分類性能。Inception-v3模型共46層，由11個Inception模塊組成，每個Inception模塊中不同的卷積層通過并聯方式結合在一起。

3.2 數據集介紹

對抗樣本實驗經常用到的數據集主要有兩類：MNIST數據集和ImageNet數據集。MNIST[34]數據集來自美國國家標準與技術研究所，由250個不同人手寫的數字構成，包含60 000張訓練圖片和10 000張測試圖片，每張圖片包含28×28個像素。MNIST數據集把代表一張圖片的二維數據展開成一個長度為784的向量，在MNIST的訓練集中是一個形狀為[60 000，784]的張量，第一個維度表示索引圖片，第二個維度表示索引圖片中的像素點。ImageNet數據集[35]由李飛飛等人提出，是根據WordNet層次結構組織的圖像數據集，旨在為世界各地的研究人員提供易于訪問的圖像數據庫。目前ImageNet中共有4 197 122幅圖像，分為21 841個類別，包括：兩棲動物、鳥、魚、花、食物、家具、植物工具和人等。

3.3 實驗設置及結果對比

實驗模型選取已經訓練好的殘差網絡ResNet152模型和卷積網絡Inception-v3模型，數據集隨機選擇ImageNet數據集中的1 000個不同類別的圖片。分別取不同的擾動值，由FGSM、I-FGSM和MI-FGSM三種方法分別生成對抗樣本，對兩個模型進行攻擊測試，選定對抗樣本攻擊模型的成功率作為評價標準。

ResNet152模型中，取不同擾動值的對抗樣本的攻擊成功率，如表2和圖5。

表2 Res-152模型攻擊成功率Table 2 Res-152 model attack success rates

圖5 Res-152下成功率對比圖Fig.5 Comparison of success rate under Res-152

Inception-v3模型中，取不同擾動值的對樣本的攻擊成功率，如表3和圖6。

表3 Inc-v3模型攻擊成功率Table 3 Inc-v3 model attack success rates

圖6 Inc-v3下成功率對比圖Fig.6 Comparison of success rate under Inc-v3

從實驗結果可以看出，同一種方法生成的對抗樣本對不同模型的攻擊成功率不同，同一批對抗樣本對卷積網絡的攻擊成功率要明顯好于殘差網絡。同一個模型中，三種方法生成的對抗樣本攻擊效果也不相同。卷積網絡中I-FGSM和MI-FGSM方法生成的對抗樣本的攻擊效果相差不多，都要明顯好于FGSM方法生成的對抗樣本；在殘差網絡中MI-FGSM方法生成的對抗樣本攻擊成功率要明顯優于其余兩種方法生成對抗樣本，I-FGSM方法生成的對抗樣本的攻擊成功率最低。

從圖5和圖6可以清楚看到，同一模型下，擾動大小在0到10區間內，對抗樣本的攻擊成功率隨著擾動值的增大都有明顯的增強；擾動值大于10后，殘差網絡中I-FGSM方法生成的對抗樣本受擾動的影響已經很小；卷積網絡中，I-FGSM和MI-FGSM兩種方法生成的對抗樣本的攻擊成功率在擾動值為5時接近98%，擾動值大于5時，兩種方法生成的對抗樣本的成功率受擾動值的影響已經非常小了。

如圖7所示，擾動值取10時，第一行圖片是MI-FGSM方法生成的對抗樣本圖片的前后對比，第二行圖片是FGSM方法生成的對抗樣本圖片的前后對比。肉眼觀察下，MI-FGSM方法生成的對抗樣本圖像比FGSM方法生成的對抗樣本圖像要更加細膩，在添加擾動相同的情況下相較于FGSM方法，MI-FGSM方法生成的對抗樣本質量更好，更容易被人接受。

圖7 對抗樣本肉眼識別對比Fig.7 Visual recognition contrast of adversarial examples

3.4 實驗中遇到的問題

實驗結果對比可以發現，同一方法生成的對抗樣本對不同模型的攻擊效果相差較大，對卷積網絡模型的攻擊效果要明顯好于殘差網絡模型。實際應用中大家關心更多的是對抗樣本的魯棒性和可遷移性，對抗樣本生成技術提出之初，大多基于快速梯度法，該方法生成的對抗樣本簡單快速，但其對抗性與可遷移性都相對較差。現實場景中存在各種各樣的干擾，對抗樣本不能只在理想環境中運用，因此對抗樣本的魯棒性是制約未來對抗樣本發展和評估模型穩健性的一個關鍵指標；同樣對抗樣本的可遷移性對實際應用同樣重要，僅能對單一模型進行攻擊的對抗樣本實際應用價值一般不高，因此增強對抗樣本的可遷移性，也是對抗樣本發展的一個大趨勢。

4 對抗樣本技術應用和發展展望

隨著對對抗樣本研究的深入，越來越多的對抗樣本生成方法被提出，雖然抗攻擊對深度神經網絡造成了很大的安全威脅，但其同樣也可作為衡量模型魯棒性與可靠性的有效工具，且攻擊與防御是兩個相互促進的過程。通過對模型進行對抗訓練，能有效提升模型的防御能力。此外，研究對抗攻擊對提升模型的可解釋性有著重要的意義。

4.1 對抗訓練

面對對抗樣本的攻擊，可采用多種方法改善模型的魯棒性，其中最直接的防御方法是進行對抗訓練，對抗訓練是指構造含有對抗樣本的數據集作為輸入樣本，對模型進行訓練[36]，訓練過程中不斷調整模型的連接結構和內部參數，使經過訓練后的模型能夠檢測出對抗樣本并對其進行正確分類，以達到增強模型安全性和魯棒性的目的[37]。Tramèr等人[38]提出了利用集成對抗訓練提高模型的魯棒性，其核心思想是使用針對多個模型生成的對抗樣本，構成集成對抗訓練集，對單個模型進行對抗訓練，從而得到一個更加魯棒的分類器。王丹妮等人[39]提出了一種綜合高斯增強和迭代攻擊ILLC（Iteration Least-Likely Class）的對抗訓練防御方法GILLC（Gaussian Iteration Least-Likely Class）。該方法首先在純凈樣本中加入高斯擾動，以增強深度學習模型泛化能力。隨后使用ILLC產生的對抗樣本進行對抗訓練，近似解決對抗訓練的內部最大化問題。經過在MNIST數據集上的實驗驗證，可以證明：對抗性訓練能夠有效提高模型的魯棒性[40]。

4.2 模型解釋

《人工智能安全白皮書》指出，深度神經網絡因其算法不可解釋性、數據依賴性強等局限性問題導致一系列安全風險。神經網絡有三個顯著的特點：一是神經網絡擁有大量的神經元和參數；二是神經網絡的結構分層，擁有大量的隱含層；三是神經網絡在學習過程中所提取到的特征對應的參數是模型自動生成的，其工作原理無法解釋。由于神經網絡的這些特點使其不具有可解釋性，帶來的直接影響就是無法針對神經網絡進行優化。董胤蓬等人[41]提出利用特征表示一致性損失的對抗訓練方法優化深度神經網絡模型，以提升模型可解釋性。實驗結果表明該訓練方法能夠增加模型內部的特征表示與人類理解的語義概念的一致性，從而增強深度神經網絡的可解釋性。

4.3 發展展望

對抗樣本技術未來可能的發展至少應包括以下3個方面：一是量化對抗樣本的可遷移性和魯棒性的評價指標，設計實現對抗樣本可遷移性與魯棒性的定量計算方法，以此實現對抗樣本的可遷移性與魯棒性的定量提高。二是設計能夠自動完成對抗樣本生成的神經網絡模型并控制其系統消耗，例如，現階段對抗樣本生成方法多基于梯度攻擊，后續關于生成對抗樣本的研究可以設計一個類似GAN的神經網絡模型，將需要攻擊的目標模型作為GAN模型的輸入，對抗樣本作為模型的輸出，利用模型自動生成符合對抗攻擊要求的對抗樣本。三是引入對抗樣本的檢測技術。例如，作為一種防御手段，在網絡模型中引入對抗樣本檢測機制，在神經網絡對樣本進行分類前先對其進行對抗樣本檢測，通過檢測將其中的對抗樣本進行剔除或分配“對抗樣本”標簽。

5 結語

隨著人工智能技術的發展，現代幾乎各種技術的發展都涉及人工智能技術，“對抗樣本”作為評估模型安全性的重要工具，逐漸成為人工智能安全領域的研究熱點。研究對抗樣本的生成與攻擊能夠有效提升模型的可靠性與可解釋性，增強模型的防御能力。本文以對抗樣本生成技術為主線，主要介紹了對抗樣本的概念和典型生成方法。通過實驗方法對經典對抗樣本生成方法進行復現，結合實驗結果對FGSM、I-FGSM和MI-FGSM三種對抗樣本生成方法進行分析，比較幾種方法的優劣，并探討了對抗樣本的應用及未來發展方向，為后續研究提供思路。