聯合生成對抗網絡和檢測網絡的SAR圖像目標檢測

韓子碩，王春平，付 強，趙 斌

(陸軍工程大學石家莊校區 電子與光學工程系， 河北 石家莊 050003)

合成孔徑雷達(synthetic aperture radar, SAR)是一種主動式的微波成像傳感器，可以全天候、全天時地執行遙感監視任務[1]，其多極化和高分辨率成像模式為對地監測提供了大量可利用數據。以此為基礎，SAR圖像目標檢測技術得以蓬勃發展，并廣泛應用于軍事和民用領域。然而，由于SAR圖像復雜的內在特性和較差的觀測效果，傳統的目標檢測算法[2-5]收效甚微。隨著深度學習算法的崛起，啟發于神經網絡在可見光圖像目標檢測領域的巨大成功，研究人員開始將其應用于SAR圖像目標檢測當中，并取得了一定成果，例如車輛檢測[6]、艦船檢測[7-8]、地質檢測[9]等。

深度學習在可見光圖像目標檢測領域所取得的成就，得益于大數據為其提供源源不斷的訓練樣本，而相較于可見光圖像數量多、易收集的特點，SAR圖像因獲取方式單一、代價大，目前公開數據卻很少。除此之外，執行數據注釋也是一項非常耗費精力和成本的任務。因此，研究人員開始追求以有限數據獲取高效網絡模型的方法，進而數據增強技術應運而生。目前應用較多的數據增強技術可分為三類：仿射變換[10-11]、數據合成[12-13]和數據生成[14-15]。仿射變換通過圖像旋轉、拉伸、剪切、色彩變換、區域擦除等圖像處理操作獲取擴展圖像，但其不能深層次地挖掘目標圖像特征，因此目標多樣性并沒有發生根本變化，甚至當使用大量擴展圖像訓練深度學習模型時，網絡將產生過擬合現象[16]。數據合成通過將目標切片隨機鑲嵌于新的背景當中獲取擴展圖像，但其并不能保證合成圖像能夠始終精確地模擬原始圖像的視覺環境，而且此方法還需要大量的外部數據支持[17]。數據生成主要是通過生成對抗網絡(generative adversarial network, GAN)來生成新的圖像，其強大的特性以及逼真的新生圖像，深受業界人士追捧。

GAN由Goodfellow等[18]于2014年提出，并應用于視覺圖像生成，從此許多基于GAN的衍生模型相繼而來。深度卷積生成對抗網絡[19](deep convolutional GAN, DCGAN)用卷積神經網絡(convolutional neural network, CNN)和全局池化層分別代替GAN中的多層感知機和全連接層，以穩定GAN的訓練過程。Arjovsky等[20]提出的WGAN，通過更加科學地度量生成數據與真實數據之間的差異, 很大程度上緩解了梯度消失和模式坍塌問題。Andrew等[21]提出的BigGAN，通過擴大網絡批處理數量和增加卷積通道，并以截斷技巧平穩訓練過程，使GAN性能得到大幅提升。Zhang等[22]將注意力機制引入GAN中，使網絡能夠自我學習應該關注的區域，像素之間的空間關聯性也得以增強，解決了卷積結構所帶來的感受野受限問題。Karnewar等[23]提出的MSG-GAN，允許梯度流從鑒別器到生成器在多個尺度上流動，為高分辨率圖像生成提供了一種穩定的訓練方法。隨著GAN模型的不斷優化，生成圖像愈加逼真，其常被應用于各種預測任務，如：文本檢測[24]、字體識別[25]、目標檢測[26]、人體姿勢估計[27]等。Gaidon等[28]指出用生成數據對神經網絡進行預訓練，可提升網絡性能。

基于以上分析，本文提出將GAN應用于SAR圖像目標檢測中，并將其與超快區域卷積神經網絡(faster region-based convolutional neural network, Faster R-CNN)相結合，構建集數據增強與目標檢測于一體的深度學習模型，目的是在數據樣本有限的前提下，高效完成目標檢測任務。其中，提出了基于自我關注機制的深度卷積生成對抗網絡(self-attention DCGAN, SA-DCGAN)，生成高質量的數據樣本，并利用概率等價類屬標簽分配策略充分挖掘生成的無標簽圖像潛力， 進而對原始訓練集進行數據擴充，最后通過特別設計的Faster R-CNN實現SAR圖像目標檢測。

1 整體網絡框架

為了更加直觀地展現本文用于SAR圖像的半監督目標檢測算法，圖1給出了所提算法的基本網絡框架。訓練過程如下：首先，利用原始訓練集對特別設計的Faster R-CNN檢測網絡進行訓練；然后，利用SA-DCGAN生成新的圖像樣本，并輸入檢測網絡中進行預測，為其生成一個含類別概率和目標位置信息的標簽文件；最后，用生成圖像擴充訓練集，并對檢測網絡進行微調。下面詳細介紹整個過程的具體實現。

1.1 SA-DCGAN

GAN主要包括生成器和鑒別器兩個模塊。生成器以隨機噪聲或向量為輸入來生成新的圖像。鑒別器用于判斷輸入圖像的真假。訓練過程中，生成器的目標是盡量生成逼近真實的圖像去欺騙鑒別器，鑒別器的目標則是盡量將生成圖像與真實圖像區別開來，雙方相互博弈。在理想狀態下，生成器足以生成以假亂真的圖像。隨著CNN所展現出的強大優勢，許多基于GAN的圖像生成模型，均利用卷積層來構建生成器和鑒別器，以解決GAN訓練不穩定的問題。因此，本文設計了所需的DCGAN模型，并在每一卷積層后引入自我關注模塊進行輔助，稱之為SA-DCGAN。

圖1 算法整體框架Fig.1 Overall framework of algorithm

1.1.1 DCGAN

DCGAN采用CNN代替原始GAN中的多層感知機，并去掉了CNN中的池化層，另外以全局池化層代替全連接層，有力解決了訓練不穩定、生成過程不可控、解釋性差等缺點。圖2展示了本文所用DCGAN的基本架構。生成器以一個100維的隨機向量為輸入，并利用線性變換將其放大至4×4×1 024大小，然后通過5個核大小為5×5、步幅為2的反卷積操作，將其擴展為128×128×3的圖像矩陣。生成器輸出層使用Tanh激活函數，其余層使用ReLU激活函數。與生成器結構相反，鑒別器通過5個卷積操作提取訓練集和假圖像特征，經sigmoid函數后，輸出判定結果，其所有層均使用LeakyReLU激活函數。值得注意的是，除生成器的輸出層和鑒別器的輸入層外，其他層之后均進行批歸一化處理，以確保網絡有足夠的梯度。

1.1.2 自我關注模型

DCGAN雖在圖像生成領域取得了重大進步，但受CNN卷積核限制，其感受野較小，很難表述不同圖像區域之間的依賴性，且無法對含有較多幾何或結構約束的類別進行建模，而自我關注模型可有效捕捉圖像全局依賴性[29]。自我關注生成對抗網絡[22]在可見光圖像生成中，取得了長足進步，但將其應用于SAR圖像生成卻效果欠佳。因此，本文將自我關注模型引入DCGAN每層卷積操作之后，構建SA-DCGAN模型，提升網絡全局建模能力。自我關注模型如圖3所示，其實現過程如下：

輸入：特征圖u∈C×N，其中C表示特征圖通道數，N表示特征點位置數。

步驟1：將u通過兩個1×1卷積轉換為特征空間f和g，f(u)=Wfu，g(u)=Wgu，其中Wf∈和Wg∈表示1×1卷積的權重矩陣，表示卷積通道數。

圖2 DCGAN基本架構Fig.2 Framework of DCGAN

圖3 SA-DCGAN中引入的自我關注模型Fig.3 Self-attention model introduced in SA-DCGAN

步驟3：計算自我關注特征圖o=(o1,o2,…,oj,…,oN)∈C×N，其中和Wv∈同樣表示1×1卷積的權重矩陣。

步驟4：將自我關注特征圖o乘以占比參數γ后，與原始特征圖u相加，其結果作為自我關注模塊的最終輸出，可表示為：ζi=γoi+ui，其中γ為可學習參數，初始化為0。

1.1.3 SA-DCGAN訓練設置

在訓練之前，首先將訓練圖像轉換為128×128大小，并映射至[-1, 1]范圍。所有卷積層初始化參數均從均值為0、標準差為0.02的正態分布中隨機采樣得到，批量大小設置為128。LeakyReLU激活函數中α取值為0.2。訓練過程中，采用Adam優化器[30](β1=0，β2=0.9)加速網絡訓練，并設置生成器學習率為0.000 1、鑒別器學習率為0.000 4，兩者相互交替訓練。網絡生成對抗損失函數采用Hinge-loss[31]：

LD=-(q,d)～pdata{min[0,-1+D(q,d)]}-

(1)

LG=-z～pz,d～pdataD(G(z),d)

(2)

1.2 基于Faster R-CNN的目標檢測網絡

Faster R-CNN模型共包含三個模塊：特征提取網絡、區域建議網絡(region proposal network, RPN)和檢測網絡，具體框架結構見圖4。

圖4 Faster R-CNN框架Fig.4 Framework of Faster R-CNN

1.2.1 特征提取網絡

特征提取網絡旨在獲取輸入圖像特征，為RPN和檢測網絡提供表征能力強大的特征圖。本文設計的特征提取網絡共有6層(Conv1～Conv6)，包括6個卷積層，除第一層卷積核大小為5外，其余層卷積核大小均為3，卷積核滑動步長取1，卷積核個數依次為64、64、128、128、256、256。在前四層卷積之后緊接著最大池化層Max-pooling，池化層大小和滑動步長均為2。所有層都使用ReLU作為激活函數，并且在ReLU之后執行批歸一化。

1.2.2 區域建議網絡

RPN作為整個框架的重要組件，通過合理的錨框設置來快速完成高質量候選區域提取，為檢測網絡提供合理化建議。設置錨框比例為{1 ∶1, 1 ∶2, 1 ∶3, 1 ∶5, 5 ∶1, 3 ∶1, 2 ∶1}，尺度取{102, 162, 322, 482, 642}。在特征提取網絡輸出的特征圖上，以滑窗操作生成多個錨框，經一個3×3卷積層后，通過兩個全連接層為每個錨框分配一個二進制類標簽(是/不是目標)和四個參數坐標(x,y,w,h)，其中(x,y)表示RPN預測的邊框中心點坐標，w和h分別表示寬與高，具體過程如圖5所示。

圖5 RPN示意Fig.5 RPN schematic diagram

在RPN訓練階段，為了提升計算效率，需要將所有的錨框分為正樣本和負樣本。正樣本定義為：與任意地面真值交并比(intersection-over-union, IoU)大于0.7的錨框。負樣本定義為：與所有地面真值IoU均小于0.3的錨框，其余非正非負的樣本被舍棄。從正負樣本中隨機抽取256個作為一個小批量訓練集，正負樣本保持1 ∶1比例，如果正樣本個數小于128，則用負樣本填補。RPN網絡初始學習率為0.001，每20 000次迭代將當前的學習率除以10，初始預訓練最大迭代次數為40 000，二次訓練最大迭代次數為20 000。通過RPN提取到的候選區域之間會有大量的重疊，基于候選區域分類得分，采用非極大值抑制(non-maximum suppression, NMS)去除重疊的候選區域，并將得分最高的前200個候選區域作為感興趣區域(region of interests, RoIs)輸入檢測網絡中。

1.2.3 檢測網絡

檢測網絡訓練參數設置方式與RPN一致，初始預訓練最大迭代次數為60 000，二次訓練最大迭代次數為30 000。檢測網絡和RPN共享特征提取網絡，并采用交替方式進行訓練[32]。

1.2.4 概率等價類屬標簽分配

目前，為數據增強生成的無標簽圖像添加類屬標簽共有三種處理方法：一是新增類處理[33]，即在原始數據集上新增加一個類別，將所有新生樣本均歸為這一類別；二是最大概率類屬標簽分配[34]，即根據新生樣本在網絡中的預測結果，將其歸為預測可能性最大的類別；三是標簽平滑正則化處理[26]，即將新生樣本所屬類別概率平均分配至所有類，假設原數據集共有K類，那么新生樣本屬于第i類的概率為1/K。另外，對于新生樣本中目標位置信息，均采用網絡預測的方式進行標定。

1.2.5 損失函數

Faster R-CNN需完成目標分類和定位兩項任務，因此使用多任務損失函數，包括分類損失(class loss)和邊框回歸損失(bbox regression loss)兩部分，定義為：

(a) 真實圖像(a) Real image (b) 生成圖像(b) Generated image圖6 真實圖像與生成圖像的類屬標簽分布Fig.6 Distribution of the labels of real images and generated images

式(3)中Lcls和Lreg分別定義為：

(4)

Lreg(t*,t)=(1-η)sL1(t*-t)+

εηsL1(t*-t)

(5)

(6)

(7)

式中：x、xa和x*分別表示預測框、錨框和標記框的中心點橫坐標；y,w,h的定義方式同上。

2 實驗設置及評估

所有實驗均在配置為E5-2630v4 CPU、NVIDIA GTX-1080Ti GPU (11 G video memory)、64 GB RAM的圖形工作站上進行，以深度學習框架TensorFlow[35]為編譯工具完成。

2.1 數據集

為了驗證本文算法的有效性，在實驗中使用了移動和靜止目標獲取與識別(moving and stationary target acquisition and recognition, MSTAR)數據集和SAR艦船檢測數據集(SAR ship detection dataset, SSDD)。

MSTAR數據集由美國國防高級研究計劃局和空間實驗室發布。該數據集由X波段、HH極化方式、0.3 m×0.3 m高分辨率聚束式合成孔徑雷達采集得到，共包括10類典型軍事目標在0～360°不同方位角下的靜止切片圖像。實驗過程中，使用BMP2、BTR70、T72圖像切片作為實驗對象，圖7所示為這三類軍事目標在真實場景下的可見光圖像及其SAR圖像。數據集詳細信息見表1。

圖7 BMP2、BTR70和T72的SAR圖像和光學圖像Fig.7 SAR image and optical image of BMP2, BTR70 and T72

表1 MSTAR數據集詳細信息

SSDD數據集是由Li等[36]構建的SAR圖像艦船檢測數據集，共包含2 456艘艦船的1 160張圖像切片。該數據集中的圖像切片收集于RadarSat-2、TerraSAR-X和Sentinel-1。數據集中圖像分辨率和尺寸均不固定，樣例見圖8，其詳細信息見表2。

(a) 高分辨率圖像(a) High resolution image

(b) 中分辨率圖像(b) Medium resolution image

(c) 低分辨率圖像(c) Low resolution image圖8 SSDD數據集樣例Fig.8 Samples of SSDD dataset

表2 SSDD數據集詳細信息

2.2 評估參數

為定量分析SA-DCGAN性能，使用費雷切特初始距離[37](Frechet inception distance, FID)和最大均值差異[38](maximum mean discrepancy, MMD)兩項指標對模型進行評估。FID計算的是真實圖像和生成圖像在特征層面的距離，MMD用于判斷兩個分布之間的相似程度。FID與MMD的值越小說明真實圖像與生成圖像越相似。

為了驗證網絡檢測性能，使用平均精度(average precision, AP)和mAP兩項指標對其進行評估。這兩項指標均由真陽性(true positive, TP)、假陽性(false positive, FP)、假陰性(false negative, FN)、真陰性(true negative, TN)四個分量計算獲得。TP和FP分別表示正確預測和錯誤預測的數量，FN表示漏檢數量。精確率P和召回率R定義為：

(8)

(9)

AP可反映網絡對單個類別的檢測性能，是檢測領域常用的一種統計量，其值越大說明網絡性能越好。

(10)

mAP是數據集所有類AP的均值，用于評估網絡的全局性能。

3 實驗結果及分析

3.1 SA-DCGAN性能評估

本文通過將SA-DCGAN與SAGAN[22]、DCGAN[19]進行比較來驗證所提生成對抗網絡模型的優越性。三種方法的定量分析見表3，生成圖像示例見圖9。通過表3可以看出，無論是MSTAR數據集還是SSDD數據集，SA-DCGAN生成圖像的FID和MMD都明顯低于其他兩種方法，說明本文設計的生成對抗網絡模型效果最優。MSTAR數據集圖像包含目標、陰影、背景三個要素，而SSDD數據集圖像包含目標、船尾跡、背景三個要素。由圖9可知，SAGAN生成圖像的目標幾何外觀發生嚴重畸變，但對各數據集中三要素刻畫比較成功，三要素對比度強于DCGAN。DCGAN生成圖像雖在外觀上較SAGAN有良好改善，但三要素邊界混淆嚴重，甚至船尾跡發生丟失。SA-DCGAN生成圖像的目標外觀和三要素邊界均與真實圖像逼近，甚至T72炮管的陰影和船尾跡呈現均清晰可辨。

GAN可以產生逼真的樣例，但訓練過程卻十分困難，很容易出現不收斂的情況。良好的GAN訓練態勢，需要確保鑒別器損失不能一直下降，而生成器損失不能一直上升，理想情況下，兩者最終都應在某一數值附近波動。圖10展示了SA-DCGAN在MSTAR數據集和SSDD數據集上的損失曲線，其中黃色曲線為生成器損失，藍色曲線為鑒別器損失。由圖可知，損失曲線在兩個數據集上的走勢基本一致，隨著訓練輪次的增加，最終生成器損失逐漸收斂于8附近，鑒別器損失逐漸收斂于0.6附近，說明SA-DCGAN訓練情況理想。雖然良好的收斂性并不能證明網絡的性能，但多個數據集上相同的損失曲線收斂態勢可以側面說明所提模型具有優異的普適性和魯棒性。

表3 三種GAN的性能對比

(a) 真實圖像(a) Real images

(b) DCGAN生成圖像(b) Images generated by DCGAN

(c) SAGAN生成圖像(c) Images generated by SAGAN

(d) SA-DCGAN生成圖像(d) Images generated by SA-DCGAN圖9 生成圖像示例Fig.9 Examples of generated images

(a) MSTAR數據集上的損失曲線(a) Loss on MSTAR dataset

(b) SSDD數據集上的損失曲線(b) Loss on SSDD dataset圖10 SA-DCGAN的損失曲線Fig.10 Loss of SA-DCGAN

3.2 訓練集中生成圖像占比對檢測性能的影響

本小節在MSTAR數據集和SSDD數據集上分別進行四組實驗來驗證使用生成樣本擴充訓練集對網絡檢測性能的影響。各實驗在原始訓練樣本的基礎上擴充不同數量占比的生成圖像作為訓練集，以所提網絡框架為訓練和檢測模型，實驗設置和參數均保持一致，根據最終檢測結果確定最優生成樣本占比。四組實驗的訓練集中原始圖像與生成圖像比例分別為1 ∶0，2 ∶1，1 ∶1，2 ∶3。表4列出了兩個數據集在不同生成圖像占比下的網絡檢測結果。對于MSTAR數據集，由于樣本相對簡單且干擾信號少，因此當訓練集中原始圖像與生成圖像比例為2 ∶1時，檢測結果就可達到最優，而隨著生成圖像占比繼續增加，混淆信息也隨之增多，網絡性能開始下降。對于SSDD數據集，由于目標尺度多樣，原始訓練集中缺少一些姿態目標，因此當原始圖像與生成圖像比例為1 ∶1時，檢測網絡才達到最優。根據以上實驗結果和分析，此后的基于所提網絡模型的檢測任務，MSTAR訓練集中生成圖像占比設置為1/3，SSDD數據集中生成圖像占比設置為1/2。

表4 不同生成圖像占比下的檢測結果

3.3 不同類屬標簽分配策略對檢測性能的影響

本小節分別將最大概率類屬標簽分配[34]、新增類處理[33]、標簽平滑正則化處理[26]和概率等價類屬標簽分配4種策略應用于網絡檢測模型，來驗證所提標簽分配策略的優越性。表5列出了所提網絡模型應用不同類屬標簽分配策略處理生成圖像時，其在兩個數據集上的性能表現。由表可以看出，應用概率等價類屬標簽分配策略的網絡模型在MSTAR數據集和SSDD數據集上均得到了最優的檢測結果。

表5 不同類屬標簽分配策略下的檢測結果

3.4 與其他檢測算法比較

本小節通過將所提網絡模型與Light level CNN[39]、單發多盒檢測器(single shot multi-box detector, SSD[40])、改進Faster R-CNN[41]進行比較驗證算法的有效性。表6列出了不同網絡模型的檢測結果及平均檢測一幅圖像(從輸入至輸出)所需的時間，圖11展示了本文算法在兩個數據集上的檢測結果示例。Light level CNN的結構相對簡單，包括2個卷積層、2個池化層和2個全連接層，在MSTAR數據集和SSDD數據集上復現檢測結果，mAP分別達到0.922 9和0.826 3。SSD為單階段網絡模型，通過在不同尺度的特征層上對目標進行檢測來提升網絡性能，在兩個數據集上的mAP分別達到0.956 9和0.870 9。改進Faster R-CNN利用初始網絡擴展ResNet101感受野來提取豐富的圖像特征，并利用感興趣區域對齊單元完成特征池化，其在兩個數據集上的mAP分別達到0.984 7和0.923 0。相比其他三種算法，本文算法的檢測結果最優。從各網絡模型檢測一幅測試圖像所需平均時間看，SSD時間損耗最小，Light level CNN和本文算法時間損耗相近，而改進Faster R-CNN時間損耗最大。由以上比較分析可以得出，本文檢測模型雖然簡單，但在GAN的支持輔助下，同樣可以獲得較優的檢測結果，且檢測時間損耗遠遠小于性能相近的其他模型。

表6 不同網絡模型的檢測性能

(a) MSTAR數據集檢測結果(a) Detection results of MSTAR dataset

(b) SSDD數據集檢測結果(b) Detection results of SSDD dataset圖11 本文算法檢測結果示例Fig.11 Examples of detection results of the proposed algorithm

4 結論

針對SAR圖像目標檢測中，樣本數據獲取困難且數量有限的問題，本文提出了一種聯合生成對抗網絡和檢測網絡的深度學習模型，可以在有限數據條件下，穩定提升檢測性能。所建網絡框架首先利用基于注意力機制的深度卷積生成對抗網絡合成高質量新生樣本，并通過概率等價類屬標簽分配策略為每個新生樣本提供注釋信息，再用一定比例的生成圖像擴充原始訓練集，有效提升Faster R-CNN檢測性能。多組基于MSTAR數據集和SSDD數據集的實測實驗數據證明，所提SA-DCGAN模型可生成逼近真實圖像的合成樣本，為原始訓練集提供擴充數據。概率等價類屬標簽分配策略無須人工注釋，即可為新生樣本提供注釋信息，滿足訓練要求，后經定量分析最優生成圖像占比，并以此擴充原始訓練集，訓練特別設計的Faster R-CNN檢測網絡。相較于Light level CNN、SSD和改進Faster R-CNN模型，本文所提模型可以在較少時間損耗的前提下，高效完成目標檢測任務。

所提網絡模型雖然取得了優異的檢測結果，但其高光表現以大量的訓練前準備工作為基礎。此外，為有效利用新生樣本而提出的概率等價類屬標簽分配策略，雖無須人工添加注釋信息，但其需要原始檢測網絡具有較高的檢測性能。另外，將基于一個數據集訓練的模型用于相似數據集檢測，其檢測結果還不是很理想(如，使用AIR-SARShip數據集[42]對SSDD訓練的模型進行驗證，其mAP值達到0.784 2)。下一步工作，將著重加強三方面的研究：一是進一步融合生成網絡和檢測網絡，簡化訓練前準備工作；二是進一步探尋有效利用新生樣本的方法，令其適用于多種網絡模型；三是進一步研究網絡模型在相似數據集之間的可推廣性。