紅外遙感圖像目標識別對抗算法研究

齊嘉豪，張 宇，萬鵬程，李遠哲，劉星月，姚愛歡，鐘 平*

(1. 國防科技大學 ATR重點實驗室，長沙 410073； 2. 安徽工業大學 計算機科學與技術學院，安徽 馬鞍山 243032)

0 引 言

隨著深度學習理論研究的不斷發展創新，計算機視覺領域相關技術也日益成熟，在軍事和民用領域都得到廣泛開發與應用。然而，深度學習技術在幫助計算視覺系統擁有令人矚目性能時，也為其留下可被攻擊的系統漏洞。對抗攻擊(Adversarial Attack)是近年來深度學習領域一個新興的研究熱點，其致力于研究如何利用深度學習算法弊端對深度視覺系統進行攻擊。研究結果表明，可在輸入中加上特殊擾動以達到欺騙深度視覺系統的目的，并且上述擾動通常難以被人眼所察覺。對抗攻擊算法研究在智能安防、無人化作戰等方面都具有重要的理論和實踐意義，也是提升深度視覺系統魯棒性和穩定性不可或缺的關鍵因素。

對抗攻擊算法研究起源于圖像分類工作，FGSM，DeepFool，C&W等都是經典的圖像分類對抗攻擊算法。作為計算視覺領域的重要組成，目標檢測也屬于對抗攻擊算法主要的應用對象。相較于分類問題，目標檢測算法因其復雜的實現機制而更難以進行攻擊。根據檢測算法實現方式不同，可將現有目標檢測對抗攻擊研究工作大致分為兩類。

第一類算法主要對基于先驗框的目標檢測方法進行對抗攻擊。此類算法利用檢測網絡先對候選區域進行分類再生成先驗框的工作機制，通過生成偽標簽和反向傳播算法來生成對抗樣本。Xie等提出一種名為密集對抗生成(Dense Adversary Generation, DAG)的白盒攻擊算法。該算法以Faster-RCNN為攻擊對象，先將檢測器RPN網絡輸出中關于分類信息的張量全部設為“0”以保證所有候選框都會被分類為背景區域，再利用優化算法修改輸入圖像像素點以生成對抗樣本。

第二類算法主要用于攻擊基于回歸方法的目標檢測器。此類算法將目標檢測算法視為一個復雜的回歸器，先通過固定回歸器輸出的形式去篡改對應的輸入特征，再同樣利用優化算法去修改輸入圖像像素點取值以生成對抗樣本。Chow等根據上述研究思路，針對單階段檢測框架設計了基于目標特性的梯度攻擊算法。該方法以不同方式固定檢測器特征金字塔結構的輸出，進而構造出不同類型的回歸損失函數，并結合FGSM算法進行對抗樣本生成。

現有目標識別對抗研究工作大多是針對自然場景下的可見光圖像，針對遙感圖像目標檢測器，Du等通過梯度優化算法設計具有物理可實現性的對抗擾動，并將擾動打印后放在車頂或者車的周圍，能夠顯著降低車輛檢測模型的效率。然而，現有研究工作并不能在遙感場景下取得顯著的攻擊效果，上述現象的出現主要有兩個原因。首先，如圖1所示，不同于自然場景下的可見光遙感圖像，紅外遙感圖像中的目標通常表現出尺度小、能量弱等特征。第二，現有目標對抗識別攻擊算法自身無論在攻擊性能或是執行效率方面都還存在較大的改進空間。因此，想要將目標識別對抗技術成功應用于紅外遙感領域，還存在如下亟需解決的問題：

圖1 遙感圖像目標尺度特性對比Fig.1 Comparison of remote sensing image target size characteristics

(1) 紅外圖像只存在單通道且所包含目標尺度過小，不利于進行特征提取，進而難以獲取到攻擊算法所需的目標紋理信息和空間位置信息。

(2) 現有目標攻擊對抗算法多為全局擾動算法，但目標在紅外遙感圖像中通常只占據小部分區域。在背景區域所產的擾動通常不會對攻擊效果產生增益，反而會大幅增加生成對抗樣本所需的擾動量，不利于物理實現。

(3) 基于梯度和優化算法的攻擊方式需要根據圖像特性進行在線訓練調整，而檢測器大量的網絡參數會導致攻擊算法效率極其低下，難以實現實時攻擊。

為解決上述問題，本文提出一種基于生成機制的目標攻擊對抗算法。首先，針對現有算法生成對抗樣本效率低問題，利用生成式對抗網絡(Generative Adversarial Networks，GAN)進行對抗樣本生成。GAN網絡可以通過網絡訓練過程預先構建輸入圖像與擾動樣本之間的函數映射關系，在應用階段無須再對不同輸入做出調整，實現真正意義上的“即插即用”。同時，為克服紅外遙感圖像中存在的小目標問題，使用變感受野的空洞卷積構建并行多通道特征金字塔網絡作為骨干網絡，并引入注意力機制用于進一步改變骨干網絡獲取目標特征的方式，重點關注與檢測結果相關的重要目標特征，實現對小目標特征的細粒度提取。最后，考慮到背景區域存在無意義擾動攻擊，本文算法以檢測器檢測結果為引導進行熱力圖生成，用于表征不同空間位置處像素點對檢測結果的影響程度大小，再根據上述熱力圖生成掩膜對擾動信號進行濾波處理，突出放大有意義(目標區域)擾動并抑制較小無意義(背景區域)擾動，提高攻擊算法的物理可實現性。

1 對抗生成攻擊

對抗生成攻擊(Adversarial Generation Attack)是深度對抗學習領域的重要研究分支，其將GAN網絡作為主體用于設計深度學習對抗算法。

1.1 對抗生成攻擊算法原理

在對抗生成攻擊算法被提出之前，大多數攻擊算法都是基于梯度和優化算法進行實現的。上述攻擊算法存在的最大問題是需要反復調用被攻擊網路結構和網絡參數，導致算法執行效率低下且遷移性差。此外，這些對抗算法多以對抗樣本與原始樣本之間距離度量(例如歐式距離)為約束去限制算法所產生的擾動量。但是，距離度量約束下所生成的對抗樣本通常不夠逼真，即容易被視覺系統所察覺而不具有良好的隱蔽性。

為解決上述問題，對抗生成攻擊算法將擾動生成問題轉換成網絡參數學習問題，讓模型學會根據輸入圖像特征自適應地生成擾動信息。對抗生成攻擊算法的大致流程為：首先，對輸入圖像進行特征提取，并將特征作為生成器輸入用于生成擾動。其次，將擾動添加到輸入圖像以產生對抗樣本，并將對抗樣本分別輸入到判決器和被攻擊模型中用于計算相似性損失和攻擊損失。其中，相似性損失用于度量對抗樣本與原始圖像間的差異性，而攻擊損失則是在衡量對抗樣本對模型的攻擊效能。最后，將相似性損失和攻擊損失同時作為目標函數，利用梯度反向傳播算法實現對網絡模型參數的學習與訓練。

從實現原理角度進行分析，攻擊損失本質上是以對抗樣本對模型造成的性能損失為引導，讓生成器自適應地調整自身網絡參數以生成更具欺騙性的攻擊擾動； 而相似度損失則是教會生成器如何在龐大擾動向量空間中挑選出最難以被視覺系統發現的擾動信息。相比于距離度量約束，將GAN網絡判斷器輸出作為相似性損失而產生的對抗樣本往往更容易欺騙視覺系統。此外，由于生成對抗算法通過網絡參數構建出輸入圖像與生成擾動之間的映射關系，在實際應用中只需要通過簡單的前向推斷即可實現對抗樣本生成，無須進行在線訓練，大幅度提升了對抗樣本的生成效率。

1.2 對抗生成攻擊算法模型構建

對抗生成攻擊算法通常由生成器、判決器和被攻擊網絡模型構成，如圖2所示。

圖2 對抗生成攻擊算法框架Fig.2 Framework of adversarial generation attack algorithm

假設輸入圖像向量?是生成器網絡的輸入，通過前向傳播后，可生成擾動()； 將擾動()附加到輸入圖像上，得到生成對抗樣本()+，將對抗樣本分別輸入到判決器網絡和待攻擊網絡中。其中，判決器網絡會根據輸入圖像特征判斷其是真實圖像還是生成圖像，并返回一個真實性得分(()+)。需要注意的是，判決器網絡本質上是特殊的二分類網絡，其輸出結果()的物理含義為輸入圖像屬于生成圖像的概率。同時，當對抗樣本()+輸入到待攻擊模型中時，可借助樣本標簽計算出生成對抗樣本對待攻擊模型造成的性能損失。為保證生成擾動不易被視覺系統所捕獲到，還需要對生成器輸出的擾動量加以限制。最后，只要利用優化算法對所有網絡參數進行調整以最小化上述損失函數，即可完成對抗生成攻擊網絡模型的訓練。

2 注意力機制

注意力機制(Attention Mechanism)是近年來深度學習領域又一項重大突破，起源于人類視覺對外界感知的特殊方式。研究表明，人眼視覺系統在接收外界信息時，會有意識地重點關注部分感興趣信息而忽略其他無關信息，進而變相地實現圖像信息篩選過濾，保證能夠發掘出所關注事物更為細致的特征，這就是視覺系統注意力機制。

深度學習的研究通常離不開海量訓練數據的支撐，大數據在提升算法性能的同時會因冗余性成為算法的瓶頸上限。而注意機制則是一種良好的數據篩選方式，以算法所實現任務為導向從眾多數據中挑選出有用的關鍵信息。于是，在計算機視覺領域，注意力機制已經被廣泛應用于圖像分類、目標檢測和語義分割等實際任務中。

自注意力機制網絡結構本質上是不同類型卷積網絡的非線性再組合，屬于復合的卷積神經網絡，如圖3所示。與傳統卷積神經網絡不同的是，自注意力機制網絡模塊會根據后續任務的需要自適應地進行感受野調整，保證盡可能多地提取到圖像中的關鍵目標特征。由于對圖像特征的高敏感性，自注意力機制也被用于解決遙感場景下目標檢測任務中的小目標問題。

圖3 自注意力機制結構示意圖Fig.3 Illustration of self-attention framework

3 空洞卷積

在深度學習算法中，骨干網絡是凝練并提取輸入圖像重要語義信息的關鍵所在。圖像深度特征提取操作本質上是重復且有目的地對圖像進行下采樣處理，則越深層次的深度特征感受野越大，但空間分辨率卻越低。然而，傳統深度學習算法通常會對卷積層的輸出再次進行池化處理，而高層特征圖在池化處理后會因自身空間分辨率過低而丟失大量細節信息，使得檢測模型無法獲取到小目標相關特征，最終導致模型檢測精度降低。

解決上述問題最直觀的方法就是增大特征圖感受野后不再進行池化處理。空洞卷積(Dilated Convolution)是一種能夠同時提高特征圖空間分辨率和感受野的特殊網絡結構。不同于傳統卷積操作，空洞卷積通常采用稀疏卷積核進行深度特征提取。如圖4所示，稀疏卷積核是傳統卷積核的一種變體，相當于在傳統卷積核算子間注入空洞以實現對感受野的擴張，通常用卷積算子間的間隔個數表示空洞卷積的稀疏程度，記作空洞率(Dilated Rate)。根據圖4不難發現，擴張前后卷積核所執行的有效運算并未發生改變，但是卷積核的感受野卻在成倍增長，因此，空洞卷積被應用于改進目標檢測算法以提高其對小尺度目標的檢測性能。

圖4 空洞卷積結構示意圖Fig.4 Structure of dilated convolution

4 基于多通道自注意力機制GAN網絡的紅外遙感目標識別對抗算法

為了對紅外遙感圖像目標檢測算法進行快速、有效的攻擊，提出一種新型目標識別對抗算法，算法整體流程如圖5所示。

圖5 目標識別對抗算法流程圖Fig.5 Flow chart of adversarial attack algorithm for object detection

算法整體可大致分為五個關鍵步驟：首先，多通道自注意力機制生成器會根據輸入圖像特征生成相應的全局擾動； 同時，熱力圖生成網絡則會根據待攻擊檢測器對輸入圖像的檢測結果構建空間位置熱力圖； 之后，將熱力圖作為濾波器對生成擾動進行局部篩選，并將篩選結果附加到輸入圖像上生成對抗樣本； 接著，再將生成的對抗樣本作為判決器網絡和待攻擊檢測器的輸入，分別計算出該樣本的相似性損失和檢測器性能損失； 最后，將上述兩種損失以及對抗樣本擾動量大小一同作為目標函數，通過優化算法進行網絡參數調優。

4.1 多通道自注意力機制生成器

在對抗生成攻擊算法中，生成器是產生對抗樣本的關鍵網絡結構，會對輸入圖像進行深度特征提取，并以此生成圖像所對應的擾動信息。考慮到紅外遙感圖像中目標的小尺度特性和稀疏性，引入自注意力機制和空洞卷積，設計圖6所示的多通道自注意力機制生成器。

圖6 多通道自注意力機制生成器Fig.6 Multi-channel self-attention generator

在生成器網絡中，輸入圖像首先被連續的卷積池化層處理得到中層語義特征。考慮到原始輸入圖像中具有較多的背景冗余信息，同時，為了進一步減小網絡結構的參數量，在低層次語義信息獲取時依舊選擇經典的卷積池化網絡。假設輸入圖像向量為?，則生成器中第個卷積層的輸出()為

(1)

式中：()和()分別為第個卷積層的網絡權重向量和偏置向量； *為卷積運算；為激活函數，在本文算法中將所有激活函數設定為Relu。為盡可能多地獲取到小尺度目標的深度特征，算法在卷積池化層后加入了注意機制模塊。若將注意力機制網絡所產生的注意力圖記為，則加入注意力機制后的深度圖像特征可表示為

(2)

式中：⊙為Hadamard乘積。此外，被檢測目標尺度在遙感場景下會發生較為劇烈的變化，即遙感圖像中可能會包含各種尺度的待檢測目標。為保證所生成擾動具有目標尺度變化適應性，算法在最后一個卷積層中用空洞卷積替代卷積池化操作，并通過改變卷積核的空洞率得到感受野大小不同的空洞卷積，用于并行獲取不同空間分辨率的高層語義特征。最后，將所有高層語義特征展平后連接在一起作為全連接層的輸入，而全連接層網絡則會將其映射為生成擾動()。

4.2 基于熱力圖的生成擾動濾波器

在4.1節中，生成器會產生大小與輸入圖像相同的生成擾動()。然而，在遙感圖像中待檢測目標通常只占據整幅圖像的小部分區域，因此，可以認為()中大部分區域的擾動均是無效擾動。而無效擾動的存在，會導致對抗樣本擾動量增加且物理可實現性降低。

為解決上述問題，設計了一種基于熱力圖的生成擾動濾波器。如圖7所示，熱力圖是深度學習中重要的可視化手段，通常用于描述輸入圖像或者深度特征圖中不同區域對算法輸出結果的影響，為深度學習可解釋性分析提供了重要的結果支撐。

圖7 基于目標檢測結果的熱力圖Fig.7 Heat map for target detection result

(3)

進一步對式(3)進行求和處理，計算出特征圖整體對檢測器輸出結果的影響系數：

(4)

之后，將特征提取網絡最后一層中所包含特征圖，以其影響系數為權重進行線性加權，再通過非線性變換即可產生熱力圖()：

(5)

4.3 多標準目標損失函數

研究中，可以根據輸入圖像的深度特征生成只存在局部擾動的對抗樣本，但并沒有給出評價生成算法性能具體指標。因此，從目標識別對抗實際需求出發，設計一種多標準損失函數以評價生成算法性能，并以此為目標函數對生成網絡參數進行學習調優。

(6)

式中：E(·)為關于變量的交叉熵損失。

至于對抗樣本與輸入圖像間的相似性，GAN網絡自帶的判決器就可以較好地做出判斷，則由此可以得到相似性損失函數l的計算方法為

(7)

考慮到判決器只是從圖像真偽性方面對擾動進行限制，并沒有直接限制其數值大小，所以還需要加入改進后的hinge損失作為改動量損失l：

(8)

式中：為人為設定的擾動量閾值。結合上述分析可得到識別對抗算法最終的目標函數為

l=l+l+l

(9)

最后，算法以最小化目標函數l為引導，結合優化算法對網絡參數進行學習調整以適應所給出的訓練數據集。而在實際應用中，式(9)中的，和都屬于需要人為進行設置的超參數，在本文實驗中上述3個參數分別被設置為0.1，0.05和0.01。

5 實驗與分析

以第三屆“空天杯”全國創新創意大賽復賽所公布數據集為訓練樣本進行對比分析實驗。

5.1 紅外遙感數據集

實驗中所用數據集源自于不同遙感場景下的多段不同紅外視頻序列。通過對視頻序列進行采樣，得到1 000張紅外遙感圖像作為訓練數據集。數據集包含了多個不同復雜背景環境，例如街道、大橋、居民樓和十字路口等。每張圖像的尺寸為480×480個像素點，包含1～20不等個數的目標，其中每個目標占據整張圖像的比例在1%～3%，屬于典型的小尺度目標。

實驗中利用分層抽樣方法進行數據劃分，分別對每段紅外視頻序列進行隨機分層抽樣，從1 000圖像中選取700張圖片作為實驗訓練集，剩下的300張圖像作為實驗測試集。

5.2 實驗設置

5.2.1 算法性能評價指標

在目標檢測問題中，常見的3個性能評價指標分別為精確率(Precision)、召回率(Recall)以及平均精度(Average Precision，AP)。實驗中，因為只有車輛一類目標，所以將作為衡量目標檢測器性能下降程度的指標。本質上是Precision-Recall曲線與軸正半軸和軸正半軸共同圍成的面積，其計算公式為

(10)

式中：為Precision-Recall曲線。

5.2.2 實驗環境設置

為更好地展示出本文所提算法的性能優勢，選取 TOG和SAA兩個目標識別對抗算法進行對比分析，所有算法將YOLOv5作為待攻擊網絡。

關于對比實驗環境，所有算法都利用Python3.8和深度框架Pytorch1.7.0進行編寫，并在Windows10系統中運行。硬件平臺組成分別為Intel(R) Core (TM) i9-10920X處理器，64 GB運行內存以及顯存為24 GB的NVIDIA GeForce RTX 3090。

5.3 實驗結果

從定性分析和定量分析兩個角度展示相關實驗結果。首先從定性分析角度展示，圖8中包含部分測試數據的相關結果。不難看出，本文提出的算法在使用最少擾動量的前提條件下取得了最好的攻擊效果。此外，從圖8(c)中所描述的擾動可以看出，相較于對比算法，本文算法所產生的擾動僅在目標上增加了一部分深色斑塊狀擾動，故攻擊前后圖片在人眼感知層面差異不大且無突兀失真之感，更具有物理可實現性。

圖8 部分實驗結果展示Fig.8 Illustration of partial experimental results

此外，攻擊成功率、時間復雜度和擾動量是算法重要的性能數值化指標，可進行定量測試分析。首先分析攻擊成功率，將100，200，300張測試圖像作為待攻擊圖像，遍歷所有攻擊算法生成的對抗樣本，再由YOLOv5進行檢測并記錄其所對應的值，如表1所示。

表1 不同攻擊算法攻擊成功率對比結果

由表1可知，本文算法在所有實驗條件下都取得了最優的攻擊成功率，并使得檢測器的值均值小于0.02，即在大多數場景下檢測不出任何車輛目標。

進一步對算法效率進行分析，在測試集中選取300張圖像進行攻擊并記錄其不同算法所需時間。上述過程重復100次，將100次攻擊的最小耗時、最大耗時和平均耗時作為算法效率對比的依據，具體結果如表2所示。

表2 不同攻擊算法效率對比結果Table 2 Comparison of different attack algorithms effectiveness

由表2可知，本文算法的最小耗時、最大耗時和平均耗時均明顯低于TOG和SAA算法，這是由于TOG和SAA利用檢測結果和檢測器網絡結構進行攻擊，需要對檢測網絡的正反向求導過程進行多次循環迭代才能達到較好的攻擊效果。而本文算法，由于已經通過訓練集建立了輸入圖像與生成樣本的映射關系，在測試階段只需對圖像特征進行提取即可生成相應的對抗樣本，不存在循環迭代的過程。

對抗樣本遷移性是判斷攻擊算法是否具有實際應用價值的重要參考指標之一。為驗證攻擊算法在單檢測器網絡上的攻擊遷移性，利用訓練數據重新訓練常見的目標檢測器網絡YOLOv3，Faster-RCNN，YOLOv5作為攻擊對象，并將測試集中300張圖像全部作為攻擊對象，將所對應的值作為性能對比依據，結果如表3所示。

表3 不同攻擊算法遷移性對比結果Table 3 Comparison of transferability for different attack algorithms

由表3可知，本文算法在不同的單檢測器上均取得顯著攻擊效果，其中，YOLOv5檢測網絡值小于0.1； 同時，相較于對比攻擊算法而言，本文算法在所有目標檢測算法上均造成最大檢測性能損失，說明其具有良好的單檢測器遷移性。

綜上所述，本文所提出的識別對抗攻擊算法能夠通過盡可能少的對抗擾動對目標檢測器取得顯著的攻擊效果，相較于現有主流目標識別對抗算法，在對抗樣本物理可實現性、遷移性和生成速度(即算法執行效率)方面都具有明顯的優勢。因此，可以認為本文所提算法具有良好的應用前景。

6 結 論

本文提出了一種全新的紅外遙感圖像對抗攻擊算法，成功地克服了紅外遙感場景中存在的目標尺度小、背景攻擊擾動無意義、對抗樣本生成效率低等問題。首先，利用對抗生成思想設計了一種全新對抗網絡拓撲結構以改善對抗樣本的生成效率； 之后，基于深度學習相關研究工作對檢測器特征提取網絡結構進行修改，使得對抗生成算法具有挖掘小尺度目標特征的能力，能夠對遙感場景下各種尺度的目標實現有效攻擊； 最后，結合熱力圖設計擾動濾波器以消除無意義的干擾，保證算法生成的對抗擾動更具物理可實現性。實驗結果表明，與現階段主流對抗算法相比，本文所提算法在目標攻擊成功率及算法執行效率上都有著明顯的性能優勢； 此外，本文還進一步研究了所提算法的可遷移性，相關實驗結果表明，生成的對抗樣本在非攻擊檢測器上也能取得理想的攻擊效果。在未來的研究工作中，將探索如何在紅外遙感場景下生成更有物理可實現性的對抗樣本。