深度卷積神經網絡圖像識別模型對抗魯棒性技術綜述

孫 浩 陳 進 雷 琳 計科峰 匡綱要

①(國防科技大學電子信息系統復雜電磁環境效應國家重點實驗室 長沙 410073)

②(北京市遙感信息研究所 北京 100192)

1 引言

近年來以深度卷積神經網絡為代表的聯結主義智能化[1]圖像識別方法取得巨大進展，不斷刷新光學和SAR圖像場景分類、目標檢測與識別、語義分割、變化檢測等多任務性能水平[2–5]。智能化的一個重要特征就是能夠跨任務、跨領域、跨類別進行知識泛化。然而，現有深度卷積神經網絡識別模型依賴統計學習，只有在訓練數據和測試數據服從獨立同分布的假設前提下泛化性能才能得到有效保證[6]。深度卷積神經網絡圖像識別模型在面對多種不同類型的訓練數據和測試數據間分布漂移時，預測性能水平會大大下降，缺乏對輸入擾動的魯棒性。研究表明[7,8]：在輸入圖像數據中添加細微對抗擾動，對于人類視覺感知信息變化過于微小不可分辨，但是卻會導致深度卷積神經網絡識別結果產生大范圍的波動變化，甚至是嚴重的錯誤輸出。深度卷積神經網絡圖像識別模型的對抗脆弱性給其在安全敏感領域的廣泛部署帶來巨大安全隱患[1,9–11]。

圖1給出了深度卷積神經網絡SAR圖像識別模型不同輸入擾動對比示例。對于來自MSTAR數據集[12]的SAR圖像目標切片，以俯仰角17°切片作為訓練集學習VGG-16網絡[13]深度識別模型。如圖1所示，測試圖像目標真實類別為BMP2，當無噪聲干擾時，識別模型預測輸出為真實類別；當在測試圖像中添加不同形式的噪聲擾動后導致模型預測輸出為錯誤類別。對抗擾動或墮化噪聲并沒有改變輸入圖像的語義內容，因此深度卷積神經網絡識別模型不應該因其存在而改變決策行為。但事實上深度卷積神經網絡識別模型很容易被很小的局部變化所迷惑，改變決策行為，以高置信度給出錯誤判斷[7,8]。與墮化噪聲相比較，由于對抗擾動產生機理更加復雜、擾動幅度小，人類視覺通常不可分辨、機器統計量很難可靠檢測，在安全敏感領域危害性更強。與光學圖像相比，SAR圖像視覺解譯變化量更多、解譯難度更大，因此對抗擾動潛在攻擊面更廣。特別是在數字域對抗擾動的視覺不可感知范圍更大，在物理域擾動實現手段更加多樣化。

圖1 SAR圖像深度神經網絡識別模型典型擾動對比示例Fig.1 Different perturbations for deep neural networks based SAR image recognition models

針對深度神經網絡的對抗脆弱性，文獻[9]從模型防御角度綜述了圖像分類對抗機器學習攻防技術，重點強調設計和評估對抗防御手段應該遵循的基本原則。文獻[10]對目標識別應用中的對抗樣本技術進行了總結與分析，討論了對抗樣本對于神經網絡安全性和魯棒性的影響，并重點分析了對抗樣本的存在性假說及其在多個機器學習模型之間的遷移特性。文獻[11]從網絡安全角度回顧了針對智能化應用場景的對抗攻擊技術，重點關注增強學習和聯邦學習場景中智能化模型存在的對抗脆弱性。與現有的相關綜述相比，本文聚焦深度卷積神經網絡圖像識別模型對抗魯棒性技術研究進展，本文的特色和創新之處在于：(1)從智能化圖像識別系統部署和應用流程出發，以信息安全視角全面分析系統存在的安全威脅和潛在攻擊面，重點討論了投毒攻擊和逃避攻擊特性及對抗脆弱性成因；(2)以對抗動態博弈視角分別建立對抗攻擊與防御的威脅模型，按照攻防模型要素梳理現有研究方法，并以SAR圖像深度識別模型對抗攻擊為例分析典型方法特性；(3)系統介紹了對抗魯棒性基本定義、對抗攻擊、對抗防御、對抗魯棒性評估的一般思路和指導原則，并結合團隊研究工作進展，討論未來研究趨勢。

本文的組織形式如下：第2節從信息安全的角度分析深度卷積神經網絡圖像識別系統面臨的多樣化安全風險和脆弱性成因；第3節給出對抗魯棒性的基本定義，系統總結深度神經網絡對抗攻擊與防御技術研究進展，分析對抗魯棒性評估的基本準則和指標體系；第4節歸納現有研究存在的不足，指出一些開放性問題，為下一步研究提供參考。

2 深度卷積神經網絡識別系統安全風險

2.1 深度學習圖像識別系統安全威脅

以衛星、無人機等為代表的多源空天圖像偵察近年來發展迅猛，不斷持續獲取海量高分辨率圖像數據，僅依賴專家判讀的數據分析模式已無法滿足情報生成的時效性要求。一方面，基于人工智能和深度學習算法的大規模圖像內容自動分析已逐步被引入離線情報生產過程中。另一方面，考慮到通信帶寬、數據傳輸效率、情報生成實時性和區域拒止電磁對抗等多因素的影響，未來大量基于深度神經網絡模型的多源圖像目標檢測與識別算法將被部署在邊緣計算平臺，進行在線目標識別和感興趣數據篩選。

與傳統的基于專家系統的符號主義智能化識別系統不同，基于深度卷積神經網絡的聯結主義智能化圖像識別系統涉及全鏈路的數據復雜處理操作、預訓練系統、機器學習框架多個方面，這些方面在軍事對抗場景中都可能涉及安全問題[1]。深度神經網絡識別系統開發部署過程可以分為任務規劃、數據采集、模型訓練、模型推理和系統部署5個階段，如圖2所示。

圖2 深度學習圖像識別系統潛在安全風險Fig.2 Security risks for deep learning based image recognition system

在現實應用中，各個環節間并不一定是序貫的，多個環節間通常會涉及反饋和循環。

(1) 任務規劃階段：開發智能化識別系統的首要問題是明確解決任務的邊界條件，明確系統的期望圖像輸入數據及其分布，估計系統的準確性、魯棒性、計算資源和運行時效性等指標。然后，對任務進行模塊化分解，選擇機器學習模型和框架。任務規劃階段面臨的主要安全風險形式有學習框架后門和漏洞攻擊、預訓練模型投毒攻擊等[14]。

(2) 數據采集階段：在確定好問題的邊界條件后，需要采集和整理用于深度識別模型的大規模標注訓練數據集和測試數據集。為了提升模型的準確性指標和收斂速度，通常會采用圖像幾何變換和光度變換、物理仿真、對抗圖像生成等方式進行訓練數據擴充。數據采集與預處理階段面臨的主要安全風險形式有數據投毒攻擊[15]、標注投毒攻擊、圖像尺度變換攻擊[16]、數據集偏差攻擊等。

(3) 模型訓練階段：對訓練數據集合進行合理劃分，在固定邊界條件下進行模型架構或參數學習，確定迭代輪次、停止準則、學習率等超參數。資源受限應用場景中還需要考慮模型的剪枝和壓縮問題。模型訓練階段面臨的主要安全風險形式有云端攻擊、木馬攻擊和超參數攻擊等[17]。

(4) 模型推理階段：對訓練完成后的深度模型進行準確性和魯棒性測試，以期滿足預設指標。模型推理階段面臨的安全風險最大，常見的攻擊形式有逃避攻擊、模仿攻擊和逆向攻擊[18]。推理階段的許多攻擊方法不需要獲取數據和模型的先驗信息，采用黑盒方法，基于遷移性進行攻擊，安全危害極大。逃避攻擊的代表形式是深度識別模型的對抗樣本。通過在目標外部添加特定設計的圖案可以有效地逃避自動化算法的探測識別，與傳統的電磁隱身偽裝不同，基于對抗樣本的智能擾動逃避攻擊成本更低、部署和應用更加靈活。

(5) 系統部署階段：將測試完成后的模型部署到相應的軟硬件平臺中，并完成真實物理環境中用戶交互驗證。系統部署階段面臨的主要安全風險有軟件系統攻擊、硬件系統漏洞、操作系統后門等[19]。

所有潛在攻擊樣式中，針對深度神經網絡模型訓練階段的數據投毒攻擊和針對模型推理階段的逃避攻擊在圖像處理領域研究受到廣泛關注，其攻擊時機與攻擊能力如圖3所示。隨著攻擊知識的減少，投毒攻擊的攻擊能力按照邏輯破壞、數據修改、數據注入和數據讀取等幾個層次依次遞減；逃避攻擊的攻擊能力按照網絡架構、模型參數、模型逼近、查詢攻擊等幾個層次依次遞減。投毒攻擊的實施可以是離線數據采集與模型學習階段，也可以是在模型在線微調階段；逃避攻擊的實施可以是在物理域中構建光電或射頻擾動，也可以在數字域中添加對抗噪聲。

圖3 深度學習訓練階段和測試階段攻擊對比Fig.3 Comparison of training stage attacks and testing stage attacks for deep learning

數據投毒攻擊通過在訓練數據集合中注入虛假數據或混淆性標記信息，影響深度模型的歸納偏差，造成模型推理性能下降。如圖4所示，通過在訓練集中添加污染后的有毒數據，造成正確模型的決策邊界出現偏離，從而造成測試樣本的類別識別出現錯誤。逃避攻擊不干擾訓練數據，僅在推理階段調整測試樣本。逃避攻擊的典型實現方式是生成對抗樣本，通過在測試樣本中添加微小非隨機性擾動造成模型錯誤輸出。對抗擾動通過面向識別模型的對抗攻擊優化算法生成，通過細微擾動跨越模型的決策邊界。

圖4 投毒攻擊與逃避攻擊基本原理Fig.4 Illustration of poisoning attack and evasion attack

2.2 投毒攻擊和逃避攻擊脆弱性成因

深度圖像識別系統可能在多個階段和層次被攻擊，其中許多潛在安全風險是信息安全領域的普遍問題，本節重點分析與深度學習過程緊密相關的投毒攻擊和逃避攻擊脆弱性成因。

2.2.1 訓練數據依賴性

深度神經網絡圖像識別模型的準確率和魯棒性高度依賴訓練數據的數量和質量。只有在訓練數據是無偏的情形下，深度識別模型才能達到理想的性能。深度識別模型僅僅從數據中學習得到了相關關系，而相關關系往往會隨著數據分布的變化而變化，模型本身無法將虛假的相關與真實的因果區分開來。在許多安全敏感領域，大規模高質量訓練數據嚴重稀缺，僅有的少量訓練數據中還存在類別不平衡性和標注不確定性等問題，這些因素都嚴重加劇了模型的泛化風險和對抗脆弱性。與標準深度識別模型相比，魯棒深度識別模型的樣本采樣復雜度更高，對標注數據的依賴性更強。采用預訓練模型進行參數初始化可以加速模型收斂、提升模型性能，但同時會將預訓練模型所采用數據集中的偏差、虛假相關、投毒數據等引入后續模型。在線微調階段，物理域或數字域所產生的對抗樣本都可以應用于投毒過程。

2.2.2 輸入與狀態空間高維特性

復雜的深度識別模型包含數百萬量級參數，為了逼近決策函數這些參數需要在訓練過程中進行迭代更新。參數的組合空間巨大，模型對輸入數據的決策邊界只能逼近求解。由于模型的高度非線性，因此輸入數據的微小擾動可能會產生巨大的輸出差異。訓練數據一般情況下位于完備輸入空間的低維流形，該現象通常也稱為“維度災難”。以VGG-16模型為例，16層深度的模型參數約135 M，采用二進制比特表示時輸入空間維度為2224×224×3×8=21204224(模型輸入圖像空間大小為224像素×224像素，波段通道為3個，數字值量化為8比特位)，因此訓練數據集合僅僅覆蓋了輸入空間中非常小的一部分，大量可能的輸入數據，在訓練過程中并沒有利用。一方面，如果給模型輸入訓練過程中未觀測到的良性數據，并且該數據與訓練數據差別較大，那么模型可能無法泛化到這些輸入數據，造成模型的安全風險。另一方面，當故意設計的對抗樣本輸入模型時會造成系統錯誤輸出。文獻[20]認為對抗樣本存在于數據流形的低概率空間，很難通過隨機采樣輸入數據的近鄰空間得到，對抗樣本所在區域是模型預測不確定性的盲點。盡管主流的深度卷積網絡模型為了提升魯棒性，在訓練過程中都進行了數據增廣，但變換后的數據與原始輸入數據高度相關，且來自同樣的數據分布，然而對抗樣本通常呈現非相關和非同分布特性。此外，對抗樣本生成過程中，向正常干凈樣本添加非隨機噪聲違背了模型訓練過程中關于統計噪聲的隱性假設。

由于理論上理想的任務決策邊界通常在實際中只能通過模型決策邊界近似，因此圖像解譯過程中無論是人類判讀還是深度識別模型都是會出現錯誤的。模型通過數據和進化過程進行訓練。在訓練得到的模型中，傳感器輸入或其他邊界條件的微小變化都有可能會導致狀態改變，在狀態空間中跨越決策邊界。例如輸入中出現的傳感器微小噪聲可能導致輸出的巨大改變。任務決策邊界與模型決策邊界之間并不一定總是能夠重合，在兩者不同的區域，輸入空間中常常存在對抗樣本。圖5表示輸入空間二維投影中存在的對抗樣本。輸入空間中，存在4個類別的數據樣本，類別A的深度識別模型決策邊界由3個決策邊界共同構成。類別A的任務決策邊界與模型決策邊界存在差異，在跨越或不跨越任務決策邊界前提下，位于模型決策邊界周圍的樣本都很容易受到微小擾動的影響造成模型輸出錯誤。在高維空間中，搜索非重合區域內的樣本很容易構造對抗樣本。

圖6為MSTAR圖像目標識別性能評估策略的對比示意圖[5,21]，這些評估準則確定了標準操作條件和擴展操作條件。標準操作條件是由現有數據集合構成的訓練條件和測試條件，擴展操作條件是由建模條件定義。可見，不同條件下的輸入空間存在部分不重疊區域和未覆蓋區域，這些區域內的數據點都很容易被用于生成攻擊樣本。

圖6 MSTAR性能評估策略[21]Fig.6 Performance evaluation strategy for MSTAR[21]

2.2.3 黑盒特性與難解釋性

基于深度卷積神經網絡的圖像識別模型結構設計和參數優化過程復雜，缺乏可解釋性。用于解決圖像處理任務的傳統計算機程序是很容易理解的，對于具有充分知識背景的編程人員來說，系統是透明的。然而由于深度神經網絡巨大的參數空間，復雜的深度識別模型不具備這一特性。編程人員仍然可以理解任務邊界條件和解決任務的方法，但無法直接將神經網絡的內部表示轉換為理解其行為特性的工具。從信息安全的角度來看，這意味著只能通過模型的錯誤行為(而不是模型本身)來檢測攻擊，而模型的錯誤行為描述仍然是一個困難的問題。因此訓練過程結束后，由于模型缺乏透明性，很難檢測訓練數據中存在的投毒攻擊。

在安全敏感領域中需要提升深度識別模型的透明性和可解釋性，特別是在軍事應用領域，需要建立用戶與智能識別模型之間的信任關系，輔助用戶進行決策。可解釋性深度識別模型的研究有兩類典型思路[22–24]：一類是分析模型的動態特性，通過在輸入變量中添加擾動或調整模型參數，對系統的輸出進行統計分析，推測模型的決策依據。另一類是直接構建結構化和可解釋性更強的深度網絡模型。

3 深度卷積神經網絡對抗魯棒性研究進展

3.1 對抗魯棒性定義

深度卷積神經網絡識別模型可以描述為一個函數：fθ:X →Y，將輸入圖像空間中的一個向量x ∈X映射到標記空間中y ∈Y，其中θ ∈W是函數的參數變量，W,X和Y分別表示深度卷積神經網絡的權重空間、輸入空間和輸出空間。深度識別模型將整個輸入空間劃分為一組區域，每個區域具有唯一性的類別標記，識別模型的決策邊界可以利用兩組不同標記區域的交匯點集來定義。在有監督學習條件下，給定數據對(x,y)的分布D，學習算法的目標是尋找一個分類器將任意的輸入x映射到標記y，使得在分布D上的期望風險最小化，即

其中，L(x,y;θ)表示特定形式的損失函數。實際應用中我們無法獲取所有的數據分布D，僅僅利用一組訓練樣本集合因此無法通過最小化期望風險獲得fθ。通常求解經驗風險最小化問題，即

深度卷積神經網絡識別模型通常由多個前饋神經網絡復合構成，其中第t層的輸出zt ∈RDk依賴前一層輸出：

神經網絡識別模型輸出結果是最高概率密度的標記索引：

深度識別模型對隨機噪聲擾動具有一定的魯棒性；但對于對抗擾動，神經網絡表現出極差的對抗脆弱性[7–11]。對抗擾動是輸入x的最壞情形微小擾動，經過精心設計用于欺騙神經網絡。而且現有研究表明：對于任意的x和 識別模型fθ總是可以找到對抗擾動，表明神經網絡的決策邊界在某些方向上靠近給定的數據樣本，因此在這些方向上添加很小的擾動就可以改變分類器的輸出結果。

定義對抗擾動δ(x)∈RD是下述優化問題的解[25]：

其中，Q(δ)表示目標函數的一般形式，Δ表示刻畫擾動特性的一組約束集合。不同類型對抗擾動主要差別在于Q(δ)和Δ，例如最小?p范數對抗擾動定義為

式(7)表示在?p范數度量下，跨越識別模型決策邊界的最小加性擾動。

ε約束對抗擾動定義為

式(8)表示在給定數據樣本x的ε鄰域內最大化損失函數的最壞情形擾動，ε的取值使得最終的擾動盡可能小，視覺不可感知。文獻中還有其他形式的距離度量來定義對抗樣本，例如數據流形測地線距離、感知度量和Wasserstein距離等。在現有的對抗擾動研究中，?p擾動研究得最為廣泛和深入。

對抗樣本很容易計算且大量存在，暴露出深度神經網絡識別模型的脆弱性。為了解決這個問題，需要定義客觀的度量來量化神經網絡對于對抗擾動輸入的魯棒性。根據應用場景和任務的不同，fθ對抗魯棒性的定義可以有多種形式，一種常用的定義是基于對抗場景中分類器的泛化能力，即對抗擾動輸入時神經網絡的最壞情形準確率。

考慮神經網絡決策函數的幾何特性，可以通過計算任意樣本到神經網絡的決策邊界的平均距離定義對抗魯棒性：

幾何視角描述對抗魯棒性的優勢是魯棒性的計算與對抗擾動產生算法無關，對抗魯棒性是分類器的特性。采用幾何測度，提升分類器的對抗魯棒性意味著將決策邊界與數據樣本遠離。采用式(9)測量分類器的魯棒性還存在很多挑戰，例如現有對抗攻擊方法在計算擾動δ(x)時并非最優。然而，我們可以通過計算所有樣本和神經網絡決策邊界的安全距離來驗證分類器的魯棒性。分類器如果是?p范數下ε認證魯棒的，那么分類器在任意樣本的半徑為ε的?p超球鄰域內輸出穩定的標記信息。在高維空間中進行魯棒性認證，需要大量的計算代價，因此目前一般都是針對特定形式的分類器。

3.2 對抗攻擊研究進展

3.2.1 對抗攻擊模型

聚焦深度模型推理階段的安全風險，建立對抗攻擊威脅模型如圖7所示，主要包括對抗攻擊目標、對抗攻擊知識、對抗攻擊能力和對抗攻擊策略4個方面[26,27]。對抗攻擊的目標可采用安全破壞程度和攻擊專一性進行描述。安全破壞程度主要是指對抗攻擊者期望破壞深度識別系統的完整性、可用性或隱私性；攻擊專一性主要包括定向攻擊和非定向攻擊兩類。例如對抗攻擊的目標可以是產生一個特定類別的識別錯誤攻擊或非定向性的系統識別功能破壞攻擊。對抗攻擊的知識根據攻擊者獲取的先驗信息來進行考慮，通常可以分為白盒攻擊和黑盒攻擊。白盒攻擊場景下，攻擊者已知識別模型的架構與參數、訓練數據、預訓練模型等信息，攻擊效果最強。黑盒攻擊場景下，攻擊者僅通過有限的查詢訪問或對抗樣本的遷移特性實現攻擊。攻擊能力采用攻擊時效和攻擊層級兩個維度描述。對抗攻擊時效可分為迭代型攻擊和單次性攻擊，雖然迭代型攻擊效果較好，但軍事應用場景中單次性攻擊的危害性也需要重點關注。對抗攻擊策略是指攻擊者為了達到攻擊目的而采取的圖像內容或特征修改措施，典型策略有對抗擾動生成和變換攻擊。基于對抗擾動生成的逃避攻擊，通常稱為對抗攻擊。在許多安全敏感領域，攻擊者很難獲取訓練階段數據或相關信息，基于對抗樣本的深度識別模型推理階段對抗攻擊威脅性更高，因此受到學術界和工業界的廣泛關注。

圖7 對抗攻擊威脅模型Fig.7 Threat model for adversarial attacks

3.2.2 對抗樣本生成

圖8描述了對抗樣本生成的一般流程[18]。在白盒攻擊場景中，攻擊者通過求解梯度優化或約束優化問題、敏感性分析、生成模型采樣等方式構造對抗樣本[7–11,18,19,26,27]；在黑盒攻擊場景中，攻擊者通過多次查詢被攻擊模型獲取相關信息，然后訓練替代模型進行白盒攻擊，或者估計梯度和近似決策邊界來尋找對抗樣本[7–11,18,19]。

圖8 對抗樣本生成流程Fig.8 Flowchart for adversarial example generation

表1歸納總結了典型對抗樣本生成方法的攻擊知識、攻擊目標、攻擊策略、擾動度量和擾動范圍。對抗樣本主要包括個體擾動對抗樣本和通用擾動對抗樣本兩類。個體擾動對抗樣本是指對于給定的測試圖像，根據優化算法生成特定的擾動，不同圖像擾動模式不同；通用擾動對抗樣本是指在特定數據集上或針對特定識別模型產生的擾動模式，對于數據集中的所有圖像該擾動模式保持不變。對抗攻擊策略主要包括圖像空間擾動、特征空間擾動和決策空間擾動3類，在圖像空間和特征空間進行擾動通常采用生成模型、梯度優化和敏感性分析算法實現，在決策空間進行擾動常采用約束優化算法實現。

為了說明典型攻擊方法對雷達圖像深度目標識別模型的影響，在MSTAR數據集上，以俯仰角17°目標切片圖像作為訓練集學習VGG-16深度識別模型，攻擊目標設定為定向攻擊，采用PGD (Projected Gradient Descent)[36],DeepFool[30],C&W[34]3種方法的定向攻擊版本生成對抗擾動。PGD攻擊噪聲范數選用L∞，攻擊強度設定為0.3；Deep-Fool攻擊步長設定為10–6，最大迭代次數設定為100次；C&W攻擊方法學習率設定為0.01，最大迭代次數設定為100。采用Grad-CAM方法[57]對3種方法生成的定向攻擊樣本、無擾動干凈樣本(原始類別和定向攻擊目標類別)在VGG-16識別模型的激活響應進行可視化，第2,4,7,10,13卷積層特征激活結果如圖9所示。其中第1行圖像分別為真實類別(BTR70)的測試圖像、采用3種攻擊方法生成的定向攻擊個體擾動對抗樣本(BTR70定向攻擊為ZIL131)、真實類別為ZIL131的測試圖像(作為參考對照)，由于對抗擾動的幅度微小，因此3種方法生成的定向攻擊樣本與原始圖像人眼無法分辨其中差別。觀察特征層的激活情況容易發現：基于梯度優化的PGD攻擊對抗樣本從低層(第2層)卷積特征開始就與定向攻擊類別的激活響應具有較高的相似性，攻擊目標實現依賴多隱層特征空間擾動；基于約束優化的DeepFool攻擊方法和C&W攻擊方法產生的對抗樣本僅在高層(第13層)卷積特征激活與真實類別具有較高的特征激活相似度，攻擊目標實現更多依賴決策空間擾動。

圖9 SAR圖像目標識別定向對抗攻擊舉例Fig.9 Targeted adversarial attacks for SAR image target recognition

圖10展示了來自FUSAR-Ship數據集[58]的4幅SAR艦船目標圖像切片及典型攻擊方法產生的對抗擾動(實驗細節見文獻[59])，4幅圖像的類別從上至下依次為集裝箱船、貨船、漁船和油輪。為了顯示效果，所有的對抗擾動都進行了放大。基于梯度優化的對抗擾動(FGSM,PGD)、稀疏對抗擾動(JSMA，單像素)和基于約束優化的對抗擾動(DeepFool,C&W)在擾動模式上呈現明顯的差異。FGSM和PGD擾動模式更加聚焦原始圖像中的圖像灰度變化劇烈區域，與圖像梯度緊密相關。JSMA和單像素擾動僅僅改變了少量像素，但對抗擾動幅值較大。DeepFool擾動和C&W擾動改變了大量像素，但對抗擾動幅值較小。

圖10 FUSAR-Ship數據子集對抗擾動舉例[59]Fig. 10 Adversarial perturbations on images from FUSAR-Ship dataset[59]

3.3 對抗防御研究進展

3.3.1 對抗防御模型

大量對抗樣本生成方法的不斷提出，催生深度神經網絡識別模型防御技術迭代演進，兩者之間形成對抗攻防競賽。根據防御目標的不同，對抗防御技術可以分為主動性防御和被動性防御兩類[60,61]，兩者之間的區別如圖11所示。主動性防御技術是深度識別模型的開發者主動進行仿真攻擊發現模型缺陷，并對模型進行魯棒性提升。模型開發者首先通過分析敵手對抗攻擊過程，建立對抗攻擊威脅模型；然后仿真不同攻擊目標、攻擊知識、攻擊策略和攻擊能力情形下的攻擊樣式，對識別模型進行對抗攻擊魯棒性評估；最后設計并開發相關手段對模型進行加固，消除潛在的對抗風險。主動性防御技術的實現過程中不涉及真實的攻擊敵手，是模型開發者自我模擬博弈對抗過程。被動性防御技術涉及真實對抗場景中模型攻擊方與模型開發者之間的動態博弈進化。一方面，深度識別模型的攻擊方通過分析模型的對抗脆弱性，設計并執行對抗攻擊。為了達到更好的攻擊效果，對抗攻擊機理和樣式不斷演變，例如復合攻擊和自動化攻擊。另一方面，模型開發者通過分析對抗攻擊給識別模型帶來的多樣化影響，研究提出新的對抗防御方法，并及時更新識別系統安全措施。

圖11 對抗攻擊防御模型[60]Fig.11 Defense model for adversarial attacks[60]

3.3.2 對抗攻擊防御與檢測

根據防御策略的不同，對抗攻擊防御方法可以分為修改數據、修改模型和增加輔助模型等[26]，如圖12所示。修改數據類方法基本思想是通過在訓練階段或測試階段修改數據及特征實現防御，典型方法包括通過圖像樣本重建消除對抗擾動、壓縮特征空間減小被攻擊概率、引入對抗樣本到訓練集合中進行模型重訓練、易干擾特征添加掩模、利用數據的不同屬性關聯提取魯棒性特征、輸入圖像投影到訓練數據流形等。修改模型類方法基本思想是修改從數據學習得到的模型結構或參數信息實現防御，典型方法包括網絡蒸餾、網絡驗證、梯度正則化、魯棒分類模型、可解釋性機器學習模型和模型安全性掩模等。增加輔助模型方法通過引入額外的網絡模型增強魯棒性，典型策略包括對抗樣本檢測網絡、多防御策略集成網絡、生成模型網絡等。

圖12 對抗攻擊典型防御方法分類[26]Fig.12 Taxonomy of defense methods for adversarial attack[26]

按照防御目標和防御策略的不同，表2對典型對抗攻擊防御方法進行了總結分析。如表2所示，所有的防御方法都是在假設特定對抗攻擊下進行評估的，PGD通常被認為是白盒攻擊場景下評估防御方法的一種有效基準攻擊。基于PGD攻擊樣本的對抗訓練防御策略目前是對大多數攻擊方法防御效果最好的一類防御方法。但是對抗訓練會導致模型在干凈數據集上泛化性能的下降，此外對抗訓練過程涉及最大最小優化問題，訓練過程十分耗時，在大規模數據集上的應用受限。

表2 對抗攻擊防御方法Tab.2 Defense methods for adversarial attack

對抗樣本檢測方法可以看成是一類被動防御方法，對推理階段的所有測試樣本首先進行診斷，判斷是否可能為惡意對抗樣本。對抗樣本檢測與深度模型預測不確定性、分布外檢測等領域緊密相關，核心思想是利用集成策略、度量方法、不一致性準則和生成性方法在推理階段檢測可靠泛化區域外的異常樣本[122]。對抗樣本檢測4類典型方法的基本原理如圖13所示。集成檢測方法同時利用多個經過不同訓練過程的深度神經網絡識別模型。在推理階段，多個識別模型分別獨立產生輸入數據的預測結果。多個網絡的預測輸出差別越大，那么該輸入樣本的決策錯誤可能性就越大。由于多個網絡的決策邊界之間存在差別，所以當對抗樣本在分布內并且靠近決策邊界時，該檢測策略效果較好。但是分布外對抗樣本或者特定類型的對抗樣本有可能在特征空間中遠離決策邊界，對于這些對抗樣本需要采用其他的檢測方法。如果測試樣本的動態激活特性與訓練數據集合中泛化區域內的樣本動態激活特性相似，則度量檢測方法判斷該樣本為正常樣本；動態激活特性的大差異性表明對抗樣本在可靠泛化區域外。生成檢測方法是利用采用數據生成策略，判斷測試樣本是否在訓練數據的生成流形上，通過計算偏移程度檢測對抗攻擊。度量檢測方法通常涉及輸入數據、多個隱含層、輸入輸出組合損失函數梯度等多個環節的變換比較。不一致性方法是采用圖像變換方法將一個測試樣本變換成多個不同版本，然后比較多版本增強圖像是否存在輸出不一致的問題，從而判斷測試樣本是否為對抗樣本。

圖13 對抗樣本檢測方法[122]Fig.13 Adversarial example detection methods[122]

3.4 對抗魯棒性評估進展

為了嚴格評估深度神經網絡的對抗魯棒性，文獻中已經提出了大量評估準則或基準數據集[34,123–132]。防御評估的準則主要有：針對敵手進行防御、測試最壞情形下的魯棒性、以人類識別能力衡量深度模型的進步等。防御評估的建議主要有：同時采用定向攻擊和非定向攻擊、進行消融實驗、多樣化測試設置、在多領域進行防御評估、采用隨機性集成策略、利用遷移攻擊、提供魯棒性上限等。現有的對抗攻防評價測度通常采用簡單的攻擊成功率或分類正確率指標，導致模型輸出評估不充分。例如在特定擾動幅度下攻擊分類正確率不能衡量模型在對抗場景中的內在行為特性。針對圖像分類任務中面向Lp范數約束對抗擾動和常見墮化擾動的深度模型魯棒性評估，文獻[127]提出了一組評估指標，如表3所示。表3的評估指標主要可以分為面向數據的評估測度和面向模型的評估測度，按照行為特性、架構、對抗擾動、墮化擾動、攻擊知識和攻擊模型等維度對評估指標進行細化分解。由于模型魯棒性評估是采用一組擾動測試樣本進行，因此首先采用神經元覆蓋和數據不可感知度等面向數據的測度衡量測試樣本的完整性。其次，采用決策邊界距離變化、模型神經元敏感性和不確定性、墮化性能等指標評估模型在對抗場景中的動態特性。

在FUSAR-Ship數據集中我們通過人工選擇4類數據樣例數目較多、圖像質量較好的SAR艦船目標圖像420幅[59]，其中集裝箱船122幅、貨船158幅、漁船94幅和油輪46幅。每個類別選取80%樣本作為訓練樣本，20%樣本作為測試樣本，選擇在該數據子集上對抗魯棒性較好[59]的ResNet101對4類白盒攻擊方法(FGSM,PGD,DeepFool,C&W)和2類黑盒攻擊(HSJA、單像素)方法進行評估，其中FGSM,PGD攻擊無窮范數閾值設置為16，其他攻擊方法為最小擾動。從深度模型誤識別和擾動不可感知兩個方面，從表3中選取代表性指標進行評估，其量化評估見表4，其中，分類正確率指標有：平均分類正確率、對抗類別平均置信度

表3 對抗魯棒性評估指標體系[127]Tab.3 Adversarial evaluation for deep models[127]

表4 SAR艦船目標識別深度模型對抗魯棒性評估實例[59]Tab.4 Adversarial robustness evaluation of deep models for SAR ship recognition[59]

(Average Confidence for Adversarial Class,ACAC)、正確類別平均置信度(Average Confidence for True Class,ACTC)；平均Lp失真度(Average Lp Distortion,ALDp)衡量對抗樣本與原始圖像間的p范數距離，值越小失真越小，代表攻擊效果更好；平均結構相似度(Average Structural Similarity,ASS)衡量攻擊成功的對抗樣本與原始圖像間的自相似性，值越大代表對抗樣本越難以用人眼進行識別；擾動敏感距離(Perturbation Sensitivity Distance,PSD)衡量人類感知擾動的指標，值越小代表越難以被人類視覺察覺；誤分類與最大概率差(Noise Tolerance Estimation,NTE)衡量對抗樣本在保持錯誤分類不變的情況下所能忍受的噪聲，值越大代表攻擊方法更加穩健。

4 開放性問題

深度卷積神經網絡圖像識別模型的對抗魯棒性與其泛化性、安全性、隱私性和可解釋性等特性緊密相關，近年來在學術界和工業界都進行了廣泛而深入的研究，大量研究成果不斷涌現，然而仍有許多開放性問題值得重點關注。

(1) 深度卷積神經網絡識別模型的對抗脆弱性成因在理論上還需要進一步深入研究[133–139]。目前關于對抗樣本在理論上為何存在及其特性描述等基礎性問題學術界研究還沒有形成統一的認識。深度卷積神經網絡圖像識別模型對抗魯棒性與模型泛化性、模型墮化噪聲魯棒性之間的關系在理論上和實踐中仍需進一步研究。

(2) 利用無監督數據提升深度識別模型的對抗魯棒性是未來重要研究方向[140–144]。目前對抗魯棒性最有效的提升方法是采用最大化模型損失的對抗樣本重訓練深度網絡模型，對抗訓練過程十分耗時。此外，魯棒深度識別模型的樣本采樣復雜度要比標準模型更高，因此需要更大規模的高質量標記數據集。在許多應用領域中，大規模高質量標記數據集獲取不僅十分耗時，而且代價昂貴。充分挖掘無標記數據中的潛在語義關系和因果關系將大大降低魯棒識別模型學習算法對標記數據的嚴重依賴。圖14為本研究團隊開展的基于無監督對抗擾動的深度識別模型對抗魯棒性提升結果。在NWPU-RESISC45數據集上[145]，采用ResNet18網絡結構[146]，利用 BYOL對比學習過程的梯度下降產生無監督對抗擾動[147,148]，并最大化每個實例圖像與其無監督對抗擾動版本間的相似性，構造更加穩健的預訓練特征編碼網絡。特征編碼器的訓練過程無需任何標記數據，每個類別選取400幅圖像，訓練過程不使用標記信息。在經過微調(每個類別選取200幅圖像進行有監督學習)后，可以獲得魯棒性更強的識別模型。對比標準模型(每個類別選取600幅有監督圖像進行訓練)和無監督魯棒提升模型(每個類別選取400幅圖像進行無監督對抗對比預訓練，200幅圖像進行有監督微調)在正常樣本及PGD攻擊樣本的激活情況，可以看到：通過無監督數據可以將深度模型的特征編碼更加聚焦在顯著目標區域，減小非魯棒性特征對識別結果的影響。

圖14 無監督數據提升對抗魯棒性Fig.14 Unlabeled data for improving adversarial robustness

(3) 多傳感器耦合對抗攻擊與防御將更具實際應用價值[149–153]。在自動駕駛和軍事偵察等多種應用場景同時存在光電和微波等多類圖像傳感器，現有的攻擊算法重點關注光電對抗智能擾動技術，很容易在其他波段暴露。深度學習在多源圖像處理任務結構上的相似性會導致耦合攻擊風險。在So2Sat LCZ42標準數據集上[154]選擇居民區(訓練樣本256幅，測試樣本266幅)、工業區(訓練樣本860幅，測試樣本905幅)、林區(訓練樣本2287幅，測試樣本2365幅)、沙地(訓練樣本672幅，測試樣本570幅)和水體(訓練樣本2609幅，測試樣本2530幅) 5類數據子集，數據子集中的示例圖像如圖15所示，第1行為地物空間分布示意，第2行為SAR樣例圖像，第3行為SAR樣例圖像對應的光學圖像(已完成空間幾何配準)。

圖15 So2Sat LCZ42數據子集示例[154]Fig. 15 Examples images from the So2Sat LCZ42 dataset[154]

實驗中選擇光學圖像(RGB波段)和SAR圖像(垂直極化)數據分別訓練ResNet18模型，優化器選用Adam優化器，學習率設為10–3，batch_size大小設為256，得到光學識別模型和SAR識別模型。采用修改后的單像素對抗樣本生成方法[52]攻擊兩個識別模型，首先對初代種子的參數進行初始化，其中噪聲點位置初始化為32×32圖像中均勻隨機分布，噪聲強度信息初始化服從高斯分布，初代投放100個種子，經100次種群選擇，最終挑選出攻擊效果最佳的對抗樣本。如圖16所示，僅僅擾動同一個像素位置的數字值，光學圖像和SAR圖像添加的擾動幅度不同，便可以同時欺騙光學和SAR圖像識別模型。統計結果表明：在協同攻擊同一位置像素的情況下，可以將光學識別模型的正確率由92.36%降低到30.98%，同時將SAR識別模型的正確率由81.24%降低到42.07%。

圖16 多傳感器耦合對抗攻擊實例Fig.16 Adversarial attacks for multiple sensors

5 結語

基于深度卷積神經網絡模型的新一代智能化圖像識別系統已逐步在醫療、安防、自動駕駛和軍事等安全敏感領域廣泛部署。然而現有深度識別模型依賴大規模高質量的訓練數據，只能提供有限的可靠性能保證，并且缺乏可解釋性，給模型在復雜電磁環境下強對抗場景中的實際應用帶來嚴重安全隱患。本文從信息安全、對抗攻防威脅模型兩個方面系統總結了深度神經網絡圖像識別模型對抗脆弱性成因與對抗魯棒性研究進展，重點梳理了對抗樣本生成、主被動對抗防御、對抗魯棒性評估等方面的技術思路與典型方法，為下一步建立魯棒可信的高性能智能化圖像識別系統提供參考。