圖像對(duì)抗樣本防御技術(shù)研究綜述

劉瑞祺，李 虎，王東霞，趙重陽，李博宇

軍事科學(xué)院 系統(tǒng)工程研究院 信息系統(tǒng)安全技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100101

深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）助推當(dāng)前階段人工智能（artificial intelligence，AI）飛速發(fā)展，但其安全性問題也逐漸凸顯[1]。如Szegedy等人[2]發(fā)現(xiàn)，對(duì)測(cè)試正常圖像添加一個(gè)人眼難以察覺的非隨機(jī)擾動(dòng)后形成的對(duì)抗樣本（adversarial example，AE），可以使DNN 模型以較高的置信度輸出錯(cuò)誤結(jié)果。對(duì)抗樣本的存在增強(qiáng)了公眾對(duì)DNN模型安全性的重視，也為AI 的安全應(yīng)用提出了新挑戰(zhàn)。尤其在自動(dòng)駕駛[3]、醫(yī)學(xué)診斷[4]、安全監(jiān)控[5]等敏感業(yè)務(wù)場(chǎng)景下，如何高效檢測(cè)或消除對(duì)抗樣本對(duì)DNN 模型帶來的安全威脅十分必要。本文聚焦DNN應(yīng)用最廣的圖像領(lǐng)域，圍繞圖像對(duì)抗樣本防御技術(shù)的發(fā)展脈絡(luò)，分析圖像對(duì)抗樣本存在的各類假說及典型攻擊方法，進(jìn)而對(duì)圖像對(duì)抗樣本防御技術(shù)進(jìn)行歸納總結(jié)，以期為本領(lǐng)域研究人員提供技術(shù)參考。

已有部分研究圍繞對(duì)抗樣本的生成與防御技術(shù)方法從不同的角度進(jìn)行了梳理歸納[6-8]，如Wiyatno 等人[6]調(diào)查了早期的對(duì)抗樣本攻防技術(shù)方法并分析了這些技術(shù)方法存在的問題，白祉旭等人[7]從白盒攻擊和黑盒攻擊角度梳理分析了對(duì)抗樣本生成技術(shù)，張?zhí)锏热薣8]從特征學(xué)習(xí)、分布統(tǒng)計(jì)等方面歸納了對(duì)抗樣本檢測(cè)與防御技術(shù)。隨著新的攻防技術(shù)方法的不斷迭代進(jìn)化，亟待對(duì)不同技術(shù)方法之間的關(guān)聯(lián)性，尤其從對(duì)抗樣本的不同存在假說角度進(jìn)行關(guān)聯(lián)分析，進(jìn)而為對(duì)抗樣本的防御提供新的技術(shù)思路。如快速梯度符號(hào)法（fast gradient sign method，F(xiàn)GSM）[9]提出后，通過引入迭代[10]、隨機(jī)[11]、動(dòng)量[12]、動(dòng)態(tài)學(xué)習(xí)[13]等策略產(chǎn)生了系列對(duì)抗樣本生成方法。同時(shí)，對(duì)抗樣本防御技術(shù)也在不斷發(fā)展，如Papernot等人提出了防御蒸餾方法[14]，通過降低模型對(duì)于對(duì)抗梯度的敏感度實(shí)現(xiàn)對(duì)FGSM 等基于梯度信息的對(duì)抗樣本防御。此后Carlini 等人又針對(duì)防御蒸餾方法提出了C&W 攻擊方法[15]。圍繞對(duì)抗樣本的攻防對(duì)抗技術(shù)研究呈現(xiàn)快速迭代演化發(fā)展的趨勢(shì)。因此，本文從對(duì)抗樣本的存在假說入手，分析假說與相關(guān)技術(shù)的內(nèi)在聯(lián)系，歸納總結(jié)假說對(duì)攻防研究的指導(dǎo)啟示，系統(tǒng)梳理代表性對(duì)抗樣本防御技術(shù)的最新迭代演進(jìn)趨勢(shì)。圖1 按時(shí)間順序列舉了部分圖像對(duì)抗樣本攻防研究領(lǐng)域的典型技術(shù)方法，對(duì)技術(shù)方法之間的相關(guān)關(guān)系做了部分標(biāo)注。

圖1 對(duì)抗樣本攻防技術(shù)迭代演進(jìn)示意Fig.1 Schematic of development and evolution of attacks and defenses of adversarial examples

本文組織邏輯架構(gòu)如圖2 所示。首先梳理了各種主流的對(duì)抗樣本存在原因假說及相應(yīng)的對(duì)抗樣本生成方法；然后圍繞對(duì)抗樣本的檢測(cè)和消除對(duì)防御技術(shù)方法進(jìn)行了歸納總結(jié)；最后總結(jié)了圖像對(duì)抗樣本防御技術(shù)當(dāng)前的發(fā)展現(xiàn)狀，對(duì)未來的可能的發(fā)展方向進(jìn)行了展望。

圖2 本文組織邏輯架構(gòu)Fig.2 Logic structure of this paper

1 對(duì)抗樣本的存在原因假說與典型生成方法

深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，內(nèi)部參數(shù)空間大，其決策過程具有不可解釋性，對(duì)其面臨的安全威脅進(jìn)行深入分析也更加困難。學(xué)術(shù)界普遍認(rèn)為針對(duì)DNN的對(duì)抗樣本必然存在，但對(duì)其存在機(jī)理或存在原因尚無統(tǒng)一認(rèn)識(shí)。研究者提出了多種存在原因假設(shè)，分別從不同的角度探討了對(duì)抗樣本產(chǎn)生的可能原因，并據(jù)此提出了部分對(duì)抗樣本生成和防御的技術(shù)方法與意見建議。當(dāng)前的對(duì)抗樣本防御方法大部分針對(duì)某一種或某一類攻擊方法進(jìn)行針對(duì)性防御，普遍泛化性較差。基于不同的對(duì)抗樣本存在原因假說對(duì)當(dāng)前的攻擊與防御方法進(jìn)行梳理，可提供新的觀察視角。

1.1 對(duì)抗樣本存在原因與假說

1.1.1 盲區(qū)假說

DNN 的不可解釋性導(dǎo)致其決策過程具有非直觀特性，其內(nèi)部結(jié)構(gòu)與訓(xùn)練數(shù)據(jù)分布的關(guān)聯(lián)并不直觀，可能存在一定的盲區(qū)，在盲區(qū)內(nèi)的樣本會(huì)使得DNN出錯(cuò)。為尋找這些盲區(qū)，Szegedy等人提出了L-BFGS（limited memory Broden-Fletcher-Goldfarb-Shanno）攻擊[2]，通過盒約束（box constraint）優(yōu)化在輸入空間中尋找對(duì)抗樣本，其優(yōu)化函數(shù)為：

其中，x+δ∈[0,1]n以盒約束形式來約束擾動(dòng)的大小，確保生成合理的圖像；常數(shù)c>0用于調(diào)節(jié)擾動(dòng)對(duì)優(yōu)化結(jié)果的影響，通常通過線性搜索方式選取最優(yōu)值，并迭代優(yōu)化來尋找生成對(duì)抗樣本的最小擾動(dòng)。LBFGS 攻擊的目標(biāo)就是找到并利用這些“盲區(qū)”，通過優(yōu)化輸入擾動(dòng)，將輸入樣本擾動(dòng)至“盲區(qū)”，改變模型預(yù)測(cè)結(jié)果，從而生成有效的對(duì)抗樣本。

1.1.2 線性假說

DNN 通常存在于高維空間，在整體上具有非線性特性，但針對(duì)具體的激活函數(shù)或局部區(qū)域仍然具有線性特性。當(dāng)局部添加的擾動(dòng)不斷線性累積，則最終可能形成欺騙DNN 的對(duì)抗樣本。基于線性假說，Goodfellow 等人提出了FGSM 攻擊，通過梯度下降來生成擾動(dòng)：

其中，x為原始樣本；x′為添加擾動(dòng)后的對(duì)抗樣本；?x是損失函數(shù)L(x,y)相對(duì)于輸入x的梯度，即L(x,y)對(duì)x求偏導(dǎo)的結(jié)果；sign()是符號(hào)函數(shù)，將輸入轉(zhuǎn)換為-1和+1 兩類符號(hào)輸出；ε為擾動(dòng)的步長(zhǎng)。FGSM 攻擊利用了模型的局部線性特性，沿輸入空間的梯度方向進(jìn)行擾動(dòng)，簡(jiǎn)單高效，能夠快速找到添加擾動(dòng)的最優(yōu)方向，但其有效性在一定程度上依賴于擾動(dòng)步長(zhǎng)的大小。

1.1.3 決策邊界假說

DNN 的分類決策邊界通常是一個(gè)非線性曲線/面/體，通過在原始樣本上添加擾動(dòng)，其可能會(huì)跨過決策邊界，進(jìn)而使得DNN分類錯(cuò)誤[16-17]。二分類問題的決策邊界簡(jiǎn)化示意如圖3，當(dāng)在真實(shí)類別為A的樣本上添加擾動(dòng)后，其跨過DNN模型的決策邊界，被錯(cuò)誤識(shí)別為類別B。

圖3 決策邊界示意圖Fig.3 Decision boundary schematic

根據(jù)決策邊界假說，Moosavi-Dezfooli 等人提出了針對(duì)單個(gè)決策邊界的DeepFool攻擊[16]，通過不斷逼近模型的決策邊界來尋找最優(yōu)對(duì)抗擾動(dòng)，可以更準(zhǔn)確地量化模型的魯棒性以及通用對(duì)抗擾動(dòng)（universal adversarial perturbations，UAP）攻擊[17]，通過捕捉多個(gè)決策邊界不同區(qū)域之間的相關(guān)性，使得添加擾動(dòng)后的對(duì)抗樣本能夠同時(shí)跨過多個(gè)決策邊界。DeepFool攻擊和UAP 攻擊的目標(biāo)都是通過迭代計(jì)算尋找符合目標(biāo)的最小擾動(dòng)，DeepFool 通過迭代地使輸入越過最近的決策邊界，可以生成比FGSM攻擊更微小的擾動(dòng)，UAP 攻擊對(duì)一組訓(xùn)練樣本進(jìn)行迭代，在每次迭代中根據(jù)當(dāng)前模型的決策邊界調(diào)整通用擾動(dòng)，可以用于推動(dòng)多個(gè)輸入跨越其決策邊界。

1.1.4 特征假說

DNN 通過對(duì)圖像特征的逐層提取來學(xué)習(xí)知識(shí)并做出決策，但不同的圖像特征在決策過程中起到的作用具有差異。Ilyas 等人將不易受對(duì)抗擾動(dòng)影響的特征稱為魯棒性特征，將容易受到對(duì)抗擾動(dòng)影響的特征稱為非魯棒特征[18]。在此基礎(chǔ)上，Wang等人提出了特征重要性感知攻擊方法（feature importance-aware attack，F(xiàn)IA）[19]，從分類模型的中間層提取特征圖并計(jì)算評(píng)估特征的重要性，實(shí)現(xiàn)對(duì)重要特征的選擇。

1.1.5 其他存在假說

對(duì)抗樣本的存在原因目前尚無統(tǒng)一解釋，除了前述各類假說，還有很多從其他角度提出的假設(shè)。如Feinman 等人通過數(shù)據(jù)流形（data manifold）來解釋對(duì)抗樣本，認(rèn)為訓(xùn)練數(shù)據(jù)存在于高維空間，但在模型中以低維流形的形式存在，添加擾動(dòng)后的對(duì)抗樣本不在低維數(shù)據(jù)流形上，因而會(huì)決策錯(cuò)誤[20]。基于流形假設(shè)，F(xiàn)einman 等人設(shè)計(jì)了基于密度估計(jì)和貝葉斯不確定性估計(jì)的對(duì)抗性樣本檢測(cè)方法DE&BUE（density estimation&Bayesian uncertainty estimation）[20]。

深入理解對(duì)抗樣本為何存在有助于理解各類對(duì)抗樣本的生成方法之間的關(guān)聯(lián)，也有助于設(shè)計(jì)更好的對(duì)抗樣本防御措施。表1 梳理總結(jié)了幾種代表性的對(duì)抗樣本存在原因假說及其對(duì)DNN攻防技術(shù)研究的啟示。

表1 對(duì)抗樣本存在原因假說總結(jié)Table 1 Summary of hypothesis of reason for existence of adversarial example

需要說明的是，當(dāng)前尚無關(guān)于對(duì)抗樣本存在原因的統(tǒng)一解釋，一種對(duì)抗樣本攻擊或防御方法的背后可能蘊(yùn)含多個(gè)假說的思想，且不同的假說之間并非互斥，而是存在部分重疊，需要根據(jù)實(shí)際深入理解。

1.2 典型的對(duì)抗樣本生成方法

本文的主旨是對(duì)圖像對(duì)抗樣本的防御技術(shù)進(jìn)行梳理分析，但防御本身并非孤立存在，而是與攻擊技術(shù)迭代演進(jìn)。本節(jié)對(duì)典型的對(duì)抗樣本生成技術(shù)方法進(jìn)行對(duì)比分析，為后面的防御技術(shù)方法分析提供技術(shù)參考。

1.2.1 直接優(yōu)化目標(biāo)函數(shù)

早期的對(duì)抗樣本生成方法通常默認(rèn)DNN沒有采取防御措施，但隨著大家對(duì)DNN安全性的重視，提出了很多防御技術(shù)方法。如何生成能夠規(guī)避已有防御措施的對(duì)抗樣本成為了新的研究方向，如Carlini 等人[15]針對(duì)防御蒸餾防御技術(shù)[14]提出了基于優(yōu)化的C&W攻擊方法，其優(yōu)化函數(shù)為：

其中，||δ||p可以是L0、L2或L∞范數(shù)，用于度量擾動(dòng)δ的大小；f(x+δ)對(duì)添加擾動(dòng)后的樣本進(jìn)行預(yù)測(cè)。與LBFGS 攻擊[2]一樣，C&W 攻擊[15]也是通過直接優(yōu)化目標(biāo)函數(shù)生成對(duì)抗樣本，但其優(yōu)化算法通常是梯度下降。且C&W 攻擊[15]的目標(biāo)函數(shù)由兩部分組成，一部分顯式地約束擾動(dòng)的大小，另一部分保證模型預(yù)測(cè)錯(cuò)誤，因此生成的對(duì)抗樣本更難以察覺。

1.2.2 計(jì)算導(dǎo)數(shù)尋找擾動(dòng)

對(duì)抗樣本的生成方法不斷更新，針對(duì)FGSM攻擊雖然計(jì)算速度快，但是生成的對(duì)抗樣本質(zhì)量較差、擾動(dòng)大小難以控制等問題，Papernot等人提出了基于雅可比顯著圖的攻擊方法（Jacobian saliency map attack，JSMA），通過計(jì)算模型輸出對(duì)輸入的偏導(dǎo)數(shù)構(gòu)建雅可比矩陣，形成描述輸出對(duì)輸入的敏感度顯著圖，對(duì)模型輸出影響最顯著的部分添加針對(duì)性的擾動(dòng)[21]。JSMA 攻擊在進(jìn)行每次迭代時(shí)都需要重新計(jì)算顯著圖，因此需要較高的計(jì)算成本。

引入迭代、隨機(jī)、動(dòng)量、動(dòng)態(tài)策略等可以在原有方法基礎(chǔ)上進(jìn)行改進(jìn)。BIM（basic iterative method）攻擊以較小的步長(zhǎng)多次應(yīng)用FGSM攻擊，每步迭代后剪裁中間結(jié)果的像素值，使其始終處于原始圖像的鄰域范圍內(nèi)[10]。R+FGSM 攻擊（ramdom fast gradient sign method）在FGSM 攻擊的基礎(chǔ)上引入隨機(jī)起點(diǎn)，以避免陷入局部最大值[11]。PGD（projected gradient descent）攻擊可以同時(shí)包含隨機(jī)和迭代的思想，并通過投影控制擾動(dòng)的大小[22]。MI-FGSM（momentum iterative fast gradient sign method）攻擊則是在迭代中積累損失函數(shù)梯度方向的矢量以穩(wěn)定更新方向[12]。DSNGD（dynamically sampled nonlocal gradient descent）攻擊將梯度方向計(jì)算為優(yōu)化歷史中之前梯度的加權(quán)平均值，通過納入非局部梯度信息，對(duì)噪聲和非凸損失表面的全局下降方向給出更準(zhǔn)確的估計(jì)[13]。

FGSM 攻擊及其系列改進(jìn)的有效性建立在攻擊者可以獲取準(zhǔn)確梯度信息的基礎(chǔ)上，當(dāng)攻擊者無法獲取準(zhǔn)確的梯度信息時(shí)，此類攻擊就會(huì)失效。Athalye等人進(jìn)一步細(xì)分了防御蒸餾等通過混淆梯度來阻止基于梯度優(yōu)化損失函數(shù)的防御方法，針對(duì)此類防御，提出了后向微分近似（backward pass differentiable approximation，BPDA）[23],使用函數(shù)的可微分近似計(jì)算梯度信息。與之相似的，Uesato等人提出了同步擾動(dòng)隨機(jī)逼近（simultaneous perturbation stochastic approximtion，SPSA）[24]，用隨機(jī)方向上的有限差分估計(jì)逼近梯度，同樣可以繞過混淆梯度類的防御。

1.2.3 基于模型的決策邊界

初始階段對(duì)抗樣本的研究主要集中在白盒攻擊領(lǐng)域（攻擊者能夠獲取模型的全部知識(shí)），但實(shí)際場(chǎng)景中，攻擊者通常無法獲取完整的模型信息，因此，在黑盒設(shè)置下生成對(duì)抗樣本也是一個(gè)重要的研究方向[25-27]。僅依賴模型決策的攻擊和遷移攻擊是兩類代表性的黑盒攻擊方法。

僅能獲取到模型輸入和最終決策的設(shè)置最貼近實(shí)際應(yīng)用場(chǎng)景，Brendel 等人提出了僅依賴模型最終決策的邊界攻擊（boundary attack，BA）[28]，從一個(gè)擾動(dòng)較大的對(duì)抗樣本點(diǎn)開始，沿決策邊界隨機(jī)游走，逐步找到對(duì)抗區(qū)域內(nèi)與良性樣本距離最近的對(duì)抗樣本。此類攻擊最大的問題在于需要大量的查詢來估計(jì)決策邊界的梯度，其改進(jìn)關(guān)鍵在于如何減少查詢次數(shù)，如基于拉丁超立方體抽樣的邊界攻擊（Latin hypercube sampling based boundary attack，LHS-BA），使用二進(jìn)制搜索算法來搜索初始攻擊位置，通過觀察網(wǎng)絡(luò)決策結(jié)果來估計(jì)決策邊界的梯度，最后將對(duì)抗性示例投射到邊界，以促進(jìn)下一個(gè)梯度估計(jì)[29]。

1.2.4 基于對(duì)抗樣本的遷移性

遷移攻擊的原理是利用對(duì)抗樣本的遷移性，訓(xùn)練一個(gè)替代模型來模仿黑盒模型，使用白盒攻擊方法在替代模型上生成對(duì)抗樣本[30]。根據(jù)特征假說[18]，對(duì)抗樣本的遷移性來自于非魯棒特征，因此基于特征實(shí)施遷移攻擊的效果更好，其核心是如何破壞模型中間層的特征映射，最大化內(nèi)部特征失真。Naseer等人提出了NRDM（neural representation distortion method）攻擊[31]，最大化攻擊后所有神經(jīng)元激活值的變化。FDA（feature disruptive attack）[32]通過平均激活值區(qū)分了神經(jīng)元重要性的極性（即區(qū)分了中間層存在促進(jìn)和抑制模型正確預(yù)測(cè)的積極和消極特征），F(xiàn)IA[19]對(duì)特征進(jìn)行了更準(zhǔn)確的評(píng)估，神經(jīng)元?dú)w因攻擊（neuron attributionbased attacks，NAA）進(jìn)一步將輸出完全歸因于中間層的每個(gè)神經(jīng)元[33]。

表2 梳理總結(jié)了各類代表性攻擊方法的特點(diǎn)。目前尚無普適的對(duì)抗樣本防御技術(shù)方法，因而現(xiàn)有的防御技術(shù)方法主要針對(duì)表中攻擊方法或相關(guān)衍生方法。

表2 典型對(duì)抗樣本生成方法關(guān)聯(lián)比較Table 2 Connection and comparison of representative adversarial example generation methods

2 對(duì)抗樣本防御技術(shù)

對(duì)抗樣本防御技術(shù)可以從不同維度進(jìn)行劃分，通常以防御技術(shù)所針對(duì)的目標(biāo)對(duì)象為依據(jù)，將其分為基于模型的防御和基于數(shù)據(jù)的防御兩大類。基于模型的防御通過修改模型的架構(gòu)或訓(xùn)練方法，通過提升模型本身的魯棒性實(shí)現(xiàn)防御。基于數(shù)據(jù)的防御通過檢測(cè)數(shù)據(jù)中的對(duì)抗樣本或消除其對(duì)抗性擾動(dòng)，在對(duì)抗樣本進(jìn)入到模型前實(shí)施防御。基于假說對(duì)防御的啟示，分析代表性防御技術(shù)的防御機(jī)理，進(jìn)行歸納總結(jié)。

2.1 基于模型的防御技術(shù)

對(duì)抗樣本攻擊的主要思想在于找到使模型的輸出類別發(fā)生改變的微小擾動(dòng)。因此，就模型層面而言，需要盡可能降低模型對(duì)此類微小擾動(dòng)的敏感性。具體而言，可以從改進(jìn)模型訓(xùn)練方法和改進(jìn)模型結(jié)構(gòu)兩方面展開進(jìn)行防御。

2.1.1 改進(jìn)模型訓(xùn)練方法

（1）對(duì)抗訓(xùn)練。改進(jìn)模型訓(xùn)練主要是對(duì)模型訓(xùn)練過程進(jìn)行增強(qiáng)，主動(dòng)生成對(duì)抗樣本并將其加入到訓(xùn)練數(shù)據(jù)中進(jìn)行對(duì)抗訓(xùn)練是一類典型方法。Goodfellow等人提出FGSM攻擊時(shí)，也提出了使用FGSM攻擊生成的對(duì)抗樣本進(jìn)行對(duì)抗訓(xùn)練（fast gradient sign method adversarial training，F(xiàn)GSM-AT）來進(jìn)行防御[9]。Madry等人提出了使用PGD 攻擊方法生成對(duì)抗樣本以進(jìn)行對(duì)抗訓(xùn)練的PGD-AT（projected gradient descent adversarial training）防御方法[22]，并提出了對(duì)抗訓(xùn)練的最小-最大（min-max）框架：

（2）對(duì)抗訓(xùn)練系列改進(jìn)。對(duì)抗訓(xùn)練具有較好的防御效果，然而生成對(duì)抗樣本并將其納入模型的訓(xùn)練過程會(huì)明顯增加計(jì)算成本。為此，Shafahi 等人提出了Free-AT（free adversarial training）方法[34]，通過循環(huán)利用梯度信息來降低計(jì)算開銷。PGD-AT 在每步迭代中都會(huì)計(jì)算參數(shù)θ的梯度和輸入x的梯度，在處理外部最小化問題時(shí)只利用θ的梯度，在處理內(nèi)部最大化問題時(shí)只利用x的梯度，梯度信息只會(huì)利用一次。而Free-AT通過循環(huán)利用更新模型參數(shù)時(shí)的梯度信息來減少計(jì)算梯度的次數(shù)。

min-max 框架[22]明確了理想魯棒分類器應(yīng)該達(dá)到的目標(biāo)，給出了模型魯棒性的定量度量，但是提升模型對(duì)抗魯棒性和標(biāo)準(zhǔn)訓(xùn)練的訓(xùn)練目標(biāo)不同。從決策邊界的角度看，對(duì)抗訓(xùn)練將能夠改變模型預(yù)測(cè)結(jié)果的對(duì)抗擾動(dòng)納入到模型的學(xué)習(xí)過程中，修改了原本的決策邊界。因此，需要在標(biāo)準(zhǔn)精度和魯棒性之間做出權(quán)衡[35]。Zhang 等人提出了TRADES（tradeoff-inspired adversarial defense via surrogate-loss minimization）[36]，將魯棒性誤差分解為自然誤差和邊界誤差之和，來描述分類問題的準(zhǔn)確性和魯棒性之間的權(quán)衡，并提出了新的損失。該損失由兩項(xiàng)組成：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化項(xiàng)鼓勵(lì)算法最大限度地提高標(biāo)準(zhǔn)精度，正則化項(xiàng)鼓勵(lì)算法將決策邊界從數(shù)據(jù)中推開，以提高對(duì)抗魯棒性。

對(duì)抗訓(xùn)練的模型還會(huì)表現(xiàn)出在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在未見過的對(duì)抗樣本上表現(xiàn)更差，這種現(xiàn)象被稱為魯棒過擬合[37]。引入動(dòng)態(tài)學(xué)習(xí)策略緩解這種現(xiàn)象，Jia 等人提出了LAS-AT（adversarial training with learnable attack strategy）[38]，LAS-AT 由一個(gè)目標(biāo)網(wǎng)絡(luò)和一個(gè)策略網(wǎng)絡(luò)組成，目標(biāo)網(wǎng)絡(luò)使用對(duì)抗樣本進(jìn)行對(duì)抗訓(xùn)練以提升模型魯棒性，策略網(wǎng)絡(luò)生成攻擊策略以創(chuàng)建對(duì)抗樣本來攻擊目標(biāo)網(wǎng)絡(luò)。在這種博弈機(jī)制下，在訓(xùn)練的早期階段，弱攻擊可以成功地攻擊目標(biāo)網(wǎng)絡(luò)。隨著模型魯棒性的提高，策略網(wǎng)絡(luò)會(huì)學(xué)習(xí)生成策略以產(chǎn)生更強(qiáng)的攻擊[38]。

（3）引入噪聲。除了直接將對(duì)抗樣本納入訓(xùn)練過程，Liu等人提出了ANP（adversarial noise propagation）[39]，在訓(xùn)練期間向神經(jīng)網(wǎng)絡(luò)的隱藏層注入對(duì)抗性噪聲，起到類似對(duì)抗訓(xùn)練的效果，并且無需對(duì)抗訓(xùn)練的高計(jì)算成本。ANP 還可以與其他對(duì)抗訓(xùn)練方法結(jié)合起來，進(jìn)一步提高模型的魯棒性。

（4）其他典型數(shù)據(jù)增強(qiáng)方法。對(duì)抗訓(xùn)練本質(zhì)上是一種數(shù)據(jù)增強(qiáng)方法，通過增加訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性來提升模型的學(xué)習(xí)能力。結(jié)合特征向量的線性插值應(yīng)該導(dǎo)致相關(guān)目標(biāo)的線性插值的先驗(yàn)知識(shí)，Zhang 等人提出了mixup[40]，在訓(xùn)練樣本之間進(jìn)行線性插值來生成新的訓(xùn)練樣本。Manifold Mixup[41]將mixup 擴(kuò)展到特征級(jí)，在隱藏表示上進(jìn)行插值。通過在隱藏層應(yīng)用mixup，鼓勵(lì)模型在整個(gè)模型的決策邊界上都保持平滑，而不僅僅是在輸入空間[41]。

2.1.2 改進(jìn)模型結(jié)構(gòu)

（1）添加正則化層。改進(jìn)模型結(jié)構(gòu)主要是對(duì)模型本身的結(jié)構(gòu)進(jìn)行增強(qiáng)以增強(qiáng)模型抵御對(duì)抗樣本的能力。如Gu 等人對(duì)L-BFGS 攻擊生成的對(duì)抗樣本進(jìn)行了研究，將對(duì)抗樣本防御問題等價(jià)為提高對(duì)每個(gè)樣本最小對(duì)抗性噪聲的發(fā)現(xiàn)能力，提出了深度收縮網(wǎng)絡(luò)（deep contractive networks，DCN）[42]。DCN 在神經(jīng)網(wǎng)絡(luò)的每一層都添加了懲罰層，最小化輸出相對(duì)于輸入擾動(dòng)的方差，使模型在訓(xùn)練數(shù)據(jù)點(diǎn)周圍達(dá)到“平坦”。DCN 針對(duì)早期的對(duì)抗樣本提出，對(duì)更強(qiáng)大的攻擊方法防御效果不足，會(huì)產(chǎn)生較高的計(jì)算成本，且涉及到收縮率等復(fù)雜的超參數(shù)調(diào)整。

（2）可認(rèn)證魯棒性。通過量化模型魯棒性，可以更好地理解和評(píng)估模型對(duì)于對(duì)抗樣本攻擊的敏感性，進(jìn)而找到防御此類攻擊的策略。Muthukumar 等人提出了稀疏局部Lipschitzness（sparse local Lipschitzness，SLL）指標(biāo)[43]，用于測(cè)量局部敏感性，對(duì)于深度神經(jīng)網(wǎng)絡(luò)來說，Lipschitz常數(shù)較小時(shí)模型對(duì)微小擾動(dòng)的敏感性也較小，引入正則化項(xiàng)鼓勵(lì)模型擁有較小的Lipschitz 常數(shù)可以提高模型的魯棒性。SLL 可以在稀疏程度和局部敏感性之間進(jìn)行調(diào)節(jié)權(quán)衡，提供了一個(gè)可認(rèn)證的魯棒半徑[43]。

（3）約束損失景觀/決策邊界。也可以從模型的損失景觀（loss landscape）或決策邊界入手。損失景觀是模型損失函數(shù)的幾何表示，向損失函數(shù)中添加正則化項(xiàng)，可以使得模型的損失景觀變得更加平滑，進(jìn)而降低模型對(duì)輸入變化的敏感度。無論神經(jīng)網(wǎng)絡(luò)的權(quán)重是如何訓(xùn)練的，其輸入損失景觀的曲率程度與內(nèi)在魯棒性高度相關(guān)[44]。AdvRush[45]定義了一個(gè)神經(jīng)架構(gòu)搜索（neural architecture search，NAS）空間，然后引入一個(gè)傾向于選擇具有更平滑損失景觀的候選架構(gòu)的正則化器，成功發(fā)現(xiàn)了具有高內(nèi)在魯棒性的神經(jīng)網(wǎng)絡(luò)架構(gòu)。Moosavi-Dezfooli 等人[46]研究了對(duì)抗訓(xùn)練對(duì)損失景觀和決策邊界幾何結(jié)構(gòu)的影響，對(duì)抗訓(xùn)練使損失景觀的曲率明顯降低，使模型表現(xiàn)出更線性的行為，這種線性是增強(qiáng)魯棒性的來源。Moosavi-Dezfooli 等人還提出了一個(gè)正則化器CURE（curvature regularization）[46]，直接將損失景觀的曲率最小化，模仿對(duì)抗訓(xùn)練的效果，可以視為一種對(duì)抗訓(xùn)練的替代方案。

（4）混淆梯度。攻擊者在優(yōu)化攻擊策略時(shí)，往往需要計(jì)算損失函數(shù)的梯度，如果梯度信息被混淆，就很難生成有效的對(duì)抗樣本。防御蒸餾[14]也屬于混淆梯度的防御[23]，其原理是在高溫下訓(xùn)練教師模型，使模型的輸出更為“軟”（即類別之間的概率差異更小），再使用這些“軟標(biāo)簽”來訓(xùn)練學(xué)生模型，在實(shí)際使用中，將模型的溫度設(shè)為低溫，使得模型的輸出更接近硬標(biāo)簽。通過這種方式，模型在訓(xùn)練過程中考慮了更多的信息，但是類別間的概率差異變小會(huì)導(dǎo)致反向傳播的梯度變平滑，也就是梯度信息被混淆。盡管混淆梯度可能提高模型在一些攻擊測(cè)試中的表現(xiàn)，但只是虛假的防御，對(duì)FGSM 攻擊和JSMA 攻擊等需要獲取準(zhǔn)確梯度信息的攻擊有效，并非真正提升了模型的魯棒性[23]。

2.2 基于數(shù)據(jù)的防御技術(shù)

基于數(shù)據(jù)的防御技術(shù)主要關(guān)注如何處理輸入數(shù)據(jù)，以減少對(duì)抗樣本對(duì)模型的影響。此類防御與模型的訓(xùn)練過程和模型結(jié)構(gòu)無關(guān)，可以在不修改現(xiàn)有模型的情況下部署。具體可以分為對(duì)抗樣本檢測(cè)和對(duì)抗性消除。

2.2.1 對(duì)抗樣本檢測(cè)

（1）特征檢測(cè)。對(duì)抗樣本檢測(cè)的主要目標(biāo)是在對(duì)抗樣本進(jìn)入到模型前識(shí)別出來，核心在于提取對(duì)抗樣本與良性樣本的特征差異。高維空間中包含復(fù)雜的冗余信息，直接分析圖像特征差異十分困難，因此，早期的對(duì)抗樣本檢測(cè)方法通常通過降維手段對(duì)圖像的特征差異進(jìn)行分析。如Hendrycks等人[47]采用主成分分析（principal components analysis，PCA）[48]對(duì)FGSM 攻擊生成的對(duì)抗樣本和良性樣本的主成分進(jìn)行分析，發(fā)現(xiàn)對(duì)抗樣本更強(qiáng)調(diào)低階主成分，具有比良性樣本更大的系數(shù)方差。PCA 能否有效檢測(cè)出對(duì)抗樣本取決于樣本中主要成分的分布是否被擾動(dòng)，對(duì)FGSM 攻擊這種直接在輸入級(jí)別添加噪聲的攻擊，PCA 有一定的檢測(cè)效果，但對(duì)如DeepFool 攻擊或C&W 攻擊等在原始特征空間中尋找擾動(dòng)的更復(fù)雜的攻擊，PCA的效果較差。

（2）分布統(tǒng)計(jì)特征。根據(jù)流形假說，對(duì)抗樣本處于真實(shí)的數(shù)據(jù)流形之外，F(xiàn)einman 等人設(shè)計(jì)了密度估計(jì)（density estimates，DE）和貝葉斯不確定性估計(jì)（Bayesian uncertainty estimates，BUE）兩個(gè)新的特征來檢測(cè)對(duì)抗性樣本[20]。DE 在最后一個(gè)隱藏層的特征空間中用訓(xùn)練集計(jì)算，目標(biāo)是檢測(cè)遠(yuǎn)離數(shù)據(jù)流形的點(diǎn)，BUE 基于貝葉斯推理考慮模型對(duì)于其預(yù)測(cè)的不確定性，模型對(duì)對(duì)抗樣本預(yù)測(cè)的不確定性會(huì)比較大，BUE 可以在DE無法檢測(cè)的情況下檢測(cè)出對(duì)抗性樣本。將DE和BUE結(jié)合起來可以獲得更好的檢測(cè)效果，對(duì)FGSM 攻擊、JSMA攻擊和C&W攻擊等代表性攻擊方法均有效。

（3）輔助分類器及圖像重建。也可以直接通過輔助分類器對(duì)對(duì)抗樣本進(jìn)行檢測(cè)，Metzen等人[49]訓(xùn)練了一個(gè)二分類器，專門用于區(qū)分輸入是否為對(duì)抗樣本。Hendrycks 等人[47]還提供一種圖像重建方法，將輔助模型用于圖像重建，根據(jù)重建圖像與原始圖像差異來區(qū)分對(duì)抗樣本與良性樣本，通常來說對(duì)抗樣本與其重建圖像之間的差異更大。

圖4 將代表性的對(duì)抗樣本檢測(cè)方法歸納為三種典型檢測(cè)架構(gòu)。對(duì)抗樣本檢測(cè)通常基于一些直觀的觀察和假設(shè)，如對(duì)抗樣本異常的統(tǒng)計(jì)特性或者它們可能位于模型決策邊界的附近，往往特定的攻擊策略設(shè)計(jì)，對(duì)其他攻擊策略可能效果不佳。此外，還可能會(huì)漏報(bào)對(duì)抗樣本或?qū)⒘夹詷颖菊`報(bào)為對(duì)抗樣本，并且一旦攻擊者了解了檢測(cè)器的檢測(cè)策略，很容易設(shè)計(jì)出可以繞過檢測(cè)的對(duì)抗樣本。

圖4 典型檢測(cè)架構(gòu)Fig.4 Typical detection architecture

2.2.2 對(duì)抗性消除

對(duì)抗性消除的目標(biāo)是對(duì)輸入數(shù)據(jù)進(jìn)行處理，消除或減少對(duì)抗性擾動(dòng)，使模型產(chǎn)生正確預(yù)測(cè)。和對(duì)抗樣本檢測(cè)類的方法相似，對(duì)抗性消除方法也是基于已有攻擊方法生成的對(duì)抗樣本進(jìn)行研究。

（1）引入隨機(jī)性。針對(duì)簡(jiǎn)單的攻擊方法可以采用隨機(jī)化的防御措施，如Xie 等人[50]認(rèn)為FGSM 等單步攻擊不夠強(qiáng)大，無法欺騙網(wǎng)絡(luò)，DeepFool 等迭代攻擊泛化能力較弱，調(diào)整大小、填充、壓縮等低級(jí)別的圖像變換就可能會(huì)破壞對(duì)抗性擾動(dòng)的特定結(jié)構(gòu)，提出了隨機(jī)調(diào)整大小和隨機(jī)填充（random resizing and padding，RRP），通過添加兩個(gè)隨機(jī)化層進(jìn)行防御。這種方法對(duì)良性樣本的精度幾乎沒有影響，并且?guī)缀鯖]有增加額外的計(jì)算成本，非常適合作為一個(gè)基本模塊與其他防御方法相結(jié)合。

（2）流形約束。假設(shè)對(duì)抗樣本位于正確標(biāo)簽的數(shù)據(jù)流形之外，那么針對(duì)對(duì)抗性樣本的成功防御機(jī)制應(yīng)旨在將圖像投射回正確的數(shù)據(jù)流形上[51]。Dubey 等人[51]提出在圖像數(shù)據(jù)庫中尋找最近的“鄰居”來逼近對(duì)抗樣本在圖像流形上的投影，對(duì)投影進(jìn)行分類。這種防御方法在完全白盒攻擊場(chǎng)景中并不有效，但在更貼近現(xiàn)實(shí)的場(chǎng)景中，即使攻擊者知道防御策略，也無法訪問用于尋找鄰居擬合流形的圖像數(shù)據(jù)庫，可以進(jìn)行有效的防御。

（3）去噪。由于對(duì)抗樣本是在原始圖像上添加噪聲構(gòu)建的，去噪是消除圖像對(duì)抗性噪聲的一個(gè)直接思路，然而，去噪器可能無法消除所有的擾動(dòng)，小的殘余擾動(dòng)在目標(biāo)模型的頂層可能被放大到很大的幅度[52]。為了解決這個(gè)問題，Liao 等人提出了HGD（high-level representation guided denoiser）[52]，將損失函數(shù)設(shè)計(jì)為良性樣本和對(duì)抗樣本在目標(biāo)模型的頂層輸出之間的差異。HGD 的防御效果較好，與對(duì)抗訓(xùn)練等有效的防御方法相比，計(jì)算成本更低，并且適用于更廣泛的數(shù)據(jù)集和攻擊方法[52]。

（4）圖像重建。隨著生成式模型技術(shù)的發(fā)展，許多防御致力于借助生成式方法將輸入樣本重建為良性樣本，其核心是通過訓(xùn)練生成模型來理解數(shù)據(jù)的潛在分布，將對(duì)抗樣本映射到良性樣本：Meng 等人提出了MagNet[53]，用一對(duì)自編碼器實(shí)施圖像重構(gòu)；Samangouei 等人提出了Defense-GAN[54]，用生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）學(xué)習(xí)良性樣本的分布；Nie 等人受擴(kuò)散模型反向生成過程與對(duì)抗樣本去噪過程相似的啟發(fā)，提出了DiffPure[55]，通過擴(kuò)散模型進(jìn)行圖像重建。此類防御最大的問題是訓(xùn)練生成模型需要大量的數(shù)據(jù)和計(jì)算資源。

表3 匯總梳理了當(dāng)前代表性防御技術(shù)。分析各類防御技術(shù)方法的優(yōu)缺點(diǎn)，根據(jù)實(shí)際需求設(shè)計(jì)更有針對(duì)性的防御策略，提升防御性能效果。

表3 代表性防御技術(shù)比較Table 3 Comparison of representative defense technology

3 總結(jié)與展望

3.1 現(xiàn)狀總結(jié)

針對(duì)圖像對(duì)抗樣本的攻防技術(shù)研究是當(dāng)前人工智能安全領(lǐng)域的研究熱點(diǎn)。從維護(hù)人工智能安全發(fā)展的角度而言，需要綜合梳理分析現(xiàn)有的圖像對(duì)抗樣本防御技術(shù)方法，對(duì)比分析其特點(diǎn)，為后續(xù)研究提供技術(shù)參考。

現(xiàn)有的對(duì)抗樣本攻擊和防御方法通常針對(duì)特定的模型和數(shù)據(jù)集，防御方法通常針對(duì)已有的攻擊方法進(jìn)行設(shè)計(jì)，大致可分為基于模型的防御和基于數(shù)據(jù)的防御。

基于模型的防御施加于具體的模型之上，因此在特定范圍的數(shù)據(jù)集上對(duì)指定范圍的攻擊方法防御效果通常更好，但在新的、未知的對(duì)抗樣本面前，可能表現(xiàn)不佳。此類防御方法在模型的訓(xùn)練階段將防御機(jī)制整合到模型中，在預(yù)測(cè)階段無需增加額外的計(jì)算負(fù)擔(dān)，但是可能在訓(xùn)練階段產(chǎn)生高昂的計(jì)算成本。如對(duì)抗訓(xùn)練是當(dāng)前較為有效的防御技術(shù)之一，然而其計(jì)算成本較高。很多改進(jìn)工作都在對(duì)其進(jìn)行改進(jìn)，降低其計(jì)算成本，或權(quán)衡模型精度和魯棒性，或提升模型泛化等。

相比之下，基于數(shù)據(jù)的防御不需要改變?cè)械哪Ｐ徒Y(jié)構(gòu)或訓(xùn)練過程，更容易實(shí)施，并且更易于與其他防御策略進(jìn)行結(jié)合，進(jìn)一步提高模型的整體防御能力。在設(shè)計(jì)相關(guān)策略時(shí)，理想情況是覆蓋所有可能的擾動(dòng)，但對(duì)抗樣本的潛在空間非常大，很難全面覆蓋。此外，檢測(cè)方法可能會(huì)將一些正常樣本錯(cuò)誤地判定為對(duì)抗樣本，對(duì)于其中涉及到訓(xùn)練檢測(cè)器或凈化器的方法，訓(xùn)練這些檢測(cè)或凈化模塊需要大量標(biāo)記的對(duì)抗樣本，成本也較高。

整體而言，對(duì)抗樣本的防御是一個(gè)復(fù)雜且具有挑戰(zhàn)性的問題。雖然已有許多防御策略，但是泛化性均不理想，目前尚沒有一種策略可以完全解決這個(gè)問題。從現(xiàn)實(shí)應(yīng)用的角度而言，需要綜合考慮具體的應(yīng)用場(chǎng)景、模型的潛在安全風(fēng)險(xiǎn)、輸入數(shù)據(jù)的格式等因素來選擇適合的一個(gè)或多個(gè)防御方法進(jìn)行防護(hù)，在已有的防護(hù)策略中進(jìn)行最優(yōu)配置。

3.2 未來展望

隨著各界對(duì)人工智能安全越來越重視，圍繞圖像對(duì)抗樣本的防御技術(shù)研究正在快速發(fā)展。防御技術(shù)的研究既需要根據(jù)不斷出現(xiàn)的新攻擊方法進(jìn)行針對(duì)性的單點(diǎn)防御，更需要不斷探索更具泛化性的全面防御。結(jié)合現(xiàn)有技術(shù)發(fā)展歷程及作者開展的研究實(shí)際，圖像對(duì)抗樣本防御技術(shù)的未來發(fā)展需要關(guān)注諸多問題：

（1）建立更具泛化性的防御理論

當(dāng)前已有的防御方法大多根據(jù)具體的攻擊方法特點(diǎn)進(jìn)行針對(duì)性的防御，難以實(shí)現(xiàn)對(duì)不同類型攻擊方法的泛化防御，容易被更新的攻擊方法所突破。亟待結(jié)合圖像對(duì)抗樣本存在機(jī)理的研究進(jìn)展建立泛化性更好的防御理論，以確保智能模型在面對(duì)各類對(duì)抗樣本攻擊時(shí)能安全運(yùn)行。

（2）構(gòu)建更加客觀的防御效果評(píng)價(jià)體系

當(dāng)前對(duì)于圖像對(duì)抗樣本防御技術(shù)的評(píng)價(jià)主要基于公開數(shù)據(jù)集對(duì)比模型性能的下降程度，難以反映各類復(fù)雜場(chǎng)景下的防御效果。亟待構(gòu)建涵蓋多種應(yīng)用場(chǎng)景和不同類型圖像數(shù)據(jù)以及跨圖像模態(tài)數(shù)據(jù)，從多個(gè)維度對(duì)防御效果進(jìn)行評(píng)價(jià)的基準(zhǔn)測(cè)評(píng)體系。

（3）設(shè)計(jì)智能系統(tǒng)體系化安全防御策略

當(dāng)前研究主要針對(duì)數(shù)字空間的智能模型本身進(jìn)行對(duì)抗樣本防御，而現(xiàn)實(shí)世界中的真實(shí)智能系統(tǒng)通常包括大量的外圍非智能部件，智能系統(tǒng)面臨的安全問題更加復(fù)雜。亟待統(tǒng)籌考慮智能系統(tǒng)中的智能因素和非智能因素，體系化設(shè)計(jì)安全防御策略，提升應(yīng)對(duì)現(xiàn)實(shí)安全威脅的能力。

4 結(jié)束語

圖像對(duì)抗樣本防御技術(shù)研究是當(dāng)前人工智能安全領(lǐng)域的研究熱點(diǎn)，處在快速發(fā)展階段。本文結(jié)合圖像對(duì)抗樣本防御技術(shù)最新研究成果，系統(tǒng)梳理分析了對(duì)抗樣本的各類存在原因假說、攻擊方法和防御方法，及其之間的關(guān)聯(lián)關(guān)系與發(fā)展脈絡(luò)，以期為領(lǐng)域相關(guān)人員提供參考。