改進SSD的飛機遙感圖像目標檢測

王浩桐，郭中華,2*

(1.寧夏大學 物理與電子電氣工程學院，寧夏 銀川 750021；2.寧夏沙漠信息智能感知重點實驗室，寧夏 銀川 750021)

1 引 言

隨著遙感技術的發展，遙感圖像目標檢測在軍事和民用領域有著廣泛應用，其中光學飛機遙感圖像目標檢測已經成為遙感領域的重要研究方向之一[1]。飛機遙感圖像目標檢測的核心任務是判斷遙感圖像中是否存在飛機目標并對其進行檢測、特征提取、分類和定位。傳統的遙感圖像目標檢測算法需要手工定義特征，如模板匹配或機器學習等方法[2]。此類方法定義的特征魯棒性差，對尺度多變和背景復雜的遙感圖像難以進行有效的目標檢測?，F今，得益于硬件GPU的高性能計算，基于深度學習的目標檢測模型成為遙感圖像領域的研究熱點[3]。目前基于卷積神經網絡[4](Convolutional Neural Network，CNN)的目標檢測算法主要分為兩類，一類是以Fast R-CNN[5]和Faster R-CNN[6]為代表的兩階段目標檢測算法，另一類是以YOLO[7](YOU Only Look Once)和SSD[8]為代表的單階段目標檢測算法。

以上算法常用于檢測日常生活中的通用物體，對尺度大小不一和背景復雜的遙感圖像難以進行有效的飛機目標檢測。如果直接將現有的深度學習目標檢測算法應用到遙感影像上進行飛機目標檢測，顯然是不能得到等同于自然光學圖像的檢測精度。因此，對常用物體的目標檢測算法進行改進，變得更加適合于遙感圖像的目標檢測算法已成為了近年來的熱點問題之一[9]。文獻[10-11]使用Faster-RCNN算法對遙感圖像進行目標檢測，該算法取得的檢測精度較好，但檢測效率偏低，基本不能滿足實時檢測的條件。文獻[12-13]在使用SSD算法的基礎上，結合特征金字塔網絡[14](Feature pyramid networks，FPN)結構的優勢，得到一種基于特征融合的遙感圖像目標檢測算法。該算法在滿足實時檢測條件的同時也一定程度上提高了遙感目標的檢測精度，但是對于小尺度的飛機遙感目標來說，檢測精度一般較差。對以上4篇目標檢測文獻的優缺點進行分析可知，高檢測精度與實時檢測往往不能同時兼顧，可能有如下兩個原因：其一，飛機遙感圖像經常存在場景復雜多變和目標尺度大小不一的情況。雖然使用了FPN進行多尺度特征融合，但是特征融合的程度并不能滿足飛機遙感目標的高精度檢測，還增加了網絡的訓練參數，降低了模型的檢測效率。其二，在模型訓練的過程中默認了所有特征圖通道的重要程度都是一致的，缺少通道之間的關聯性會導致算法最終的檢測精度不夠理想。

為實現飛機遙感目標的高精度檢測，本文首先使用改進后的深度殘差網絡[15](Deep residual network，ResNet)替換了SSD算法的VGG[16](Visual geometry group)特征提取網絡，用以提升算法對飛機遙感圖像的特征提取能力。而后設計了一種新型特征金字塔網絡用以實現不同層級的特征圖之間的特征融合。本文設計的新型網絡可以提高算法對不同尺度飛機目標的特征提取能力，對小尺度飛機目標的檢測精度有較大的提升。同時本文還使用了注意力機制網絡[17](Squeeze-and-excitation networks，SENet)和聚焦分類損失函數[18](Focal classification loss)，用以提升網絡學習的有效性，改進后的算法僅需較少的時間代價即可帶來較高的檢測精度提升。

2 預備工作

2.1 SSD目標檢測網絡

SSD是一種端對端的單階段目標檢測算法，該算法在檢測效率和檢測精度上有著較好的平衡性。除此之外，該算法的優勢主要有3個方面：其一，采用多種尺度特征進行目標檢測。Conv4_3、FC7 層在原圖上的感受野較小，主要用于檢測較小目標物體，而 Conv8_2、Conv9_ 2、Conv10_2、Conv11_2 在原圖上的感受野較大主要用來檢測較大目標物體；其二，設置不同高寬比例的錨框用以更好地匹配目標；其三，多種數據增強的方法使得算法對輸入不同大小和不同形狀的目標具有更好的魯棒性。本文以輸入尺寸為300×300的SSD網絡為例，如圖1所示。

圖1 SSD300網絡結構圖

2.2 特征金字塔網絡

特征金字塔網絡是一種將不同層級的特征圖通過自上而下的方式進行特征信息融合的網絡。本文所提到的原始FPN是以SSD的骨架網絡輸出的6個特征圖為基礎進行融合的結果。不同層級的特征圖融合的優勢在于彌補了特征層之間的語義差距。特征金字塔網絡結構如圖2所示。0.5×和2×分別表示特征圖下采樣(縮小)2倍和特征圖上采樣(擴大)2倍，特征金字塔網絡結構如圖2所示。

圖2 特征金字塔網絡

3 改進的SSD目標檢測算法

3.1 骨架網絡的替換

ResNet是一種用于特征提取的卷積神經網絡。因為其具有高效性和實用性廣泛用于計算機視覺目標檢測領域。以往的特征提取網絡經常會面臨網絡層數過深而導致性能退化的問題。ResNet的不同之處在于提出了殘差結構來解決網絡退化的問題，殘差結構如圖3(a)所示。

圖3 殘差結構

在殘差結構中，當輸入為x時，原始特征記為H(x)，殘差特征記為F(x)。則網絡學習到的殘差特征可以表示為：

F(x)=H(x)-x.

(1)

與原始特征H(x)相比，深度殘差網絡更容易學習到殘差特征F(x)。在理想狀態下，當F(x)為0時，ResNet僅僅只是完成了恒等映射的任務，網絡的學習能力不會因層數的增多而下降。實際上F(x)并不會等于0或者一直等于0，殘差結構總會通過輸入學習到新的特征，網絡的學習性能自然會更好[19]。ResNet101與VGG16兩種特征提取網絡以Faster-RCNN作為目標檢測算法的成績如表1所示[15]。

表1 使用Faster R-CNN 的兩種特征提取網絡在PASCAL VOC 2007/2012數據集上進行目標檢測(mAP)

本文改進后的殘差結構如圖3(b)所示，相比于原殘差結構增加了批量歸一化(Batch Normalization, BN)[20]和Leaky-relu[21]。BN的作用是為了對輸出特征圖進行歸一化處理，加快網絡的收斂速度，同時也能一定程度上解決梯度爆炸或者梯度消失導致網絡無法訓練的問題。ReLU激活函數的特點是當輸入小于0時，輸出結果恒為0。這樣的結果會導致網絡可能會丟失一部分特征信息，個別情況下會導致對應權重無法更新從而無法學習到有效的特征。而Leaky-relu激活函數即使在輸入小于0時，仍然會有不為0的輸出，使得模型能夠持續更新權重和學習特征。

通過以上分析可知，ResNet相比于SSD算法中的骨架網絡(VGG16)有著更好的特征提取能力。在模型大小與計算量方面，ResNet50在分類精度與 ResNet101相差不多的情況下，計算量遠小于后者。因此在改進的過程中，首先將SSD原本的骨架網絡VGG16替換為網絡層數相對更深且計算量相對較低的ResNet50。為了讓ResNet50網絡適合作為SSD算法的骨架網絡，現對ResNet50網絡做部分調整，刪除和添加一些層作為網絡輸出的特征圖。

在SSD算法中有6個尺度和通道數都不相同的輸出特征圖。為了與SSD算法的輸出特征圖相匹配，對于輸入尺寸為300×300×3的ResNet50，對Conv4_x的第一個殘差結構進行修改，將短路連接(Shortcut connection)上的卷積核的步長由2修改為1，Conv4_x的輸出就變成了38×38×1 024。將其作為SSD算法中的第二個輸出特征圖(Feature map 2)，與修改前的輸出結果(38×38×512)相比，可以發現輸出特征圖的通道數增加了一倍，得益于殘差結構的優點，輸出特征圖可以學習到的特征信息量變得更加豐富。改進后的Conv4_x結構如圖4(a)所示，Blockx(x：2,3,4,5,6)由圖3(b)組成。當輸入尺寸為300×300×3時，Conv5_x的特征輸出層尺寸和SSD算法的第2個特征輸出層尺寸不一致，故刪除ResNet50網絡里Conv4_x之后的層結構，額外設計了5個輸出特征圖Feature map(2～6)。在每次縮小輸出特征圖尺寸前使用1×1的卷積核重新聚合前層的特征信息并調整通道數，之后再次用3×3的卷積核進行輸出特征圖尺寸的縮小，循環此操作達到多尺度輸出特征圖的結果。

(a)Conv4_x層

Feature map(1～6)是改進后的殘差模塊與額外添加層的輸出結果，因而可以在保證模型訓練收斂的同時使特征提取網絡具有更好的語義抽象能力，改進后的ResNet50如圖4(b)所示。

3.2 新型特征金字塔網絡

本文提出了一種新型特征金字塔網絡，如圖5(a)所示。該網絡除卻FPN經典的自上向下的卷積網絡以外，還有S模塊與Conv Moudule 1模塊兩個部分組成。

(a)改進后的SSD網絡結構圖

(1)S模塊(特征感受野增強模塊+注意力機制模塊)

特征感受野增強模塊如圖5(b)虛線左側所示，該模塊由并行卷積核和短路連接兩部分組成。在并行卷積核的部分中，在使用3×3，5×5，Maxpool卷積核進行不同尺度目標的特征感受野增強之前，首先使用1×1卷積核進行通道數的減少，這樣的操作減少了網絡的訓練參數，變相地提高了網絡的效率。另外，空洞卷積的好處不僅在于可以學到更多的特征信息，還可以增大飛機目標的感受野。不同的空洞率還附帶有下采樣的效果，使網絡學習到的特征信息更加豐富[22]。并行卷積核的輸出與短路連接的1×1直連卷積核連接，進行通道之間的拼接特征融合(Connection)。將特征感受野增強模塊添加到不同層級的特征圖之間，不僅可以提升特征圖對飛機目標的感受野，還可以增強網絡對小尺度飛機目標的檢測能力。

在傳統FPN結構中，對于同級特征圖部分僅通過簡單線性疊加方式進行特征融合，而注意力機制可對特征圖內部不同位置特征施以差異性權重值，有選擇性地激活任務相關區域，抑制次要信息以提升模型效果[23]。為此，本文設計帶有SENet的FPN結構模塊，其具體操作模塊如圖5(b)虛線右側所示。首先通過全局平均池化得到每個通道上的均值，使二維的特征通道變成一個具有全局感受野的實數。而后通過一個FC(全連接層)將特征維度降低到輸入的1/16(R=16)，經過 ReLu 激活后，再通過一個 FC 層升回到原來的維度。這樣的操作比直接用一個 FC 層更具有優勢：(1)可以具有更多的非線性且更好地擬合通道間復雜的相關性；(2)極大地減少了參數量和計算量。降維和升維操作之后再通過一個Sigmoid激活函數得到歸一化的權重，最后通過一個Scale的操作將歸一化后的權重加權到每個通道的特征上。

(2)Conv Module 1

結構為自頂向下的FPN是為了解決高低階特征圖中語義與位置信息間的矛盾，實現對高低階不同尺度特征有效融合。但是傳統的FPN僅含有自頂向下的結構，沒有自下而上的結構，換言之就是低階特征圖含有高階特征圖的特征信息，而高階特征圖中不含有低階特征圖的特征信息。為了使高階特征圖包含經過S模塊增強后的低階特征信息，本文設計了Conv Moudule 1模塊。將通過此模塊處理后的特征信息與高階特征圖(Feature map 3，Feature map 4，Feature map 5)相加得到新的深層特征圖，保證不同階數的特征圖含有特征信息的完整性。其中Maxpool層池化后的寬和高等于與之相加特征圖的寬和高。1×1卷積核是為了調整通道數，同時也為了減少卷積操作需要的訓練參數。3×3卷積核的卷積模式為“same”，即不改變特征圖的尺寸大小。BN和Leaky-ReLU的引入使得Conv Module 1具有一定的非線性和加快網絡收斂速度的特性。Conv Module 1具體如圖5(a)虛線框內的結構所示。

3.3 改進SSD的損失函數

針對模型訓練過程中遙感圖像正、負樣本劃分不平衡的問題，本文將使用聚焦分類損失函數對網絡模型進行優化訓練，公式具體表示為：

L(x,c,p,l,g)=

(2)

式中:N表示與真實框相匹配的候選框的個數，x為輸入圖像，c為目標類別，p為預測類別概率，l為候選框，g代表真實的標簽框，a為兩者的權重。Lfl(x,c,p)和Lloc(x,l,g)分別為聚焦分類損失和邊界框回歸損失，其中Lloc(x,l,g)借鑒SSD算法中的邊界框回歸函數，表示為：

Lloc(x,l,g)=

(3)

式(2)中的Lfl(x,c,p)結合聚焦分類損失函數采用交叉熵計算損失，表示為：

(4)

4 實驗與結果分析

4.1 數據集與實驗環境

本文采用西北工業大學開源的遙感圖像數據集NWPU VHR-10[24]進行飛機遙感圖像目標檢測實驗，數據集包含尺寸大小不同的圖片并且按照7∶3的比例來隨機劃分訓練集和驗證集。依據數據集對目標面積大小劃分的標準(Small object: area < 322；Medium object: 322< area < 962；Big object: area > 962)對采集的光學遙感數據集進行劃分，由于一些飛機在小分辨率的情況下只有極少的像素個數，已很難通過人眼確定是否為飛機，因此，僅對像素個數超過6個的目標進行劃分。圖6為本文數據集的樣本示例，面積類型從左到右分別為Small object，Medium object，Big object。

圖6 本文數據集的樣本示例

本文的實驗環境選用 Pytorch 開源框架進行訓練、測試，基于ubuntu16.04操作系統，CPU為Inter Corei9-9900K，3.60 GHz，顯卡為NVIDIIA GTX2080。編譯環境為 torch-1.6、torchvision-0.7，cuda10.1、python 3.6 語言編程。

4.2 評價標準

(5)

(6)

式(5)和(6)中TP為正樣本中的正例，FP為負樣本中的正例，FN為負樣本中的負例。此外，FPS決定了算法的效率，其數值的大小反映了檢測速度的快慢[25]。

4.3 實驗結果分析

為了初步評估改進SSD算法的性能，本文選取了驗證集中3張具有代表性的圖片，并使用幾種經典目標檢測算法和改進后的算法進行橫向結果比較。比較結果如圖7所示，其中3張具有代表性的圖片如圖7(a)所示。第一張圖片是飛機遙感目標存在于復雜環境背景下的情況；第二張圖片是同時含有復雜環境背景和飛機遙感目標密集分布的情況；第三張圖片是同時含有飛機遙感目標密集分布和飛機遙感目標尺度極小的情況。

由圖7幾種目標檢測算法檢測結果可知，對于圖7(a)中的第一張圖片,除了文本改進的算法以外，其他目標檢測算法均有不同程度的漏檢法以外，其他目標檢測算法均有不同程度的漏檢和誤檢發生。對于圖7(a)中的第二張圖片，只有YOLO v3算法出現了誤檢的情況，其余3種算法檢測結果基本一致，即都能正確識別出全部飛機目標。對于圖7(a)中的第三張圖片，由于飛機遙感目標存在尺寸極小且密集的情況，包括本文算法在內，4種算法均不能正確檢測出全部目標。但是改進后的算法雖然沒有全部檢測出飛機目標，但檢測結果明顯要優于其他3種算法。對以上不同算法檢測結果的差異分析可知，造成誤檢和漏檢的主要原因是特征圖之間缺少相應的聯系，即淺層網絡缺少深層網絡重要的語義信息，深層網絡缺少淺層網絡豐富的細節信息。除此之外，特征圖不同通道間的重要程度也缺少定量的權重系數。改進后的SSD算法綜合考慮了各個特征圖之間的關聯性，設計了S模塊和Conv Module 1模塊。使得各層級的特征圖攜帶更加完整的特征信息以便可以較好地識別出復雜環境背景下尺度大小不一的飛機遙感目標。另外，注意力機制網絡SENet可以幫助網絡學習特征圖不同通道間的重要程度，在一定程度上提高算法的檢測精度。

以上3張飛機遙感圖片的檢測結果多為極端條件下的檢測結果，例如飛機遙感目標尺度極小且密集分布的極端條件。在更為實際的情況中，飛機遙感目標并不是只存在于極端條件中，對于生活中較容易接觸到的典型場景也是飛機遙感目標檢測的主要用地。本文列舉了4種生活中含有飛機遙感目標的典型場景并進行相關的飛機目標檢測實驗。典型場景分別是民用機場(圖8(a))、包含住宅區背景的民用機場(圖8(b))、機場跑道(圖8(c))和包含其他交通工具背景(圖8(d))的場景。改進后的SSD在各個典型場景下的檢測結果如圖8所示。

圖8 典型場景下的檢測結果

場景2和場景4具有較為復雜的地面背景，可以簡單歸類為極端條件中的復雜背景一類。場景2、場景3和場景4具有尺度較小和較為密集分布的特點，可以簡單歸類為極端條件中的密集分布和極小尺度一類。改進后的算法從不同特征層的特征信息的完整性的角度出發，增加了特征層彼此的關聯性，一定程度上增加了飛機目標檢測的魯棒性。由圖8的檢測結果分析可知，改進后的算法不僅適用于極端條件下的飛機遙感目標的檢測，對貼近生活中的典型場景也具有較好的檢測效果。

為了進一步評估改進SSD算法的性能，本文使用4.2節的評價標準計算得到了該算法的檢測精度與檢測速度，并與其他幾種目標檢測算法進行橫向結果對比[26]。對比結果如表2和圖9所示。

從表2的實驗結果中可以分析到，本文提出的改進后的SSD算法在精度均值(AP)的指標上優于YOLO、YOLO v2、YOLO v3、SSD、DSSD和Faster-RCNN+FPN算法。從檢測精度上看，當IOU=0.5且area為all時(all為包含所有面積類型的目標)，改進后的SSD算法相比于SSD算法提高了3.73%，相比于Faster-RCNN+FPN、YOLO、YOLO v2、YOLO v3和DSSD分別提高了1.10%，14.23%，8.09%，4.31%，1.87%。當IOU=0.5∶0.95且area=small時，改進后的SSD算法的精度均值為44.58%，較改進前提升了4.93%。顯然，改進后的SSD算法對小型目標的檢測精度相比于其他算法提升幅度更為明顯，證明改進后的SSD算法對小型目標檢測更具有優勢。從檢測速度上看，改進SSD的檢測速度和改進前相比基本沒有太大的變化，和其他單階段目標檢測算法相比仍然可以滿足實時檢測的需求[27]。

表2 檢測精度和檢測速度

圖9為IOU=0.5和IOU=0.7時各目標檢測算法的PR曲線。從檢測結果可以看出，改進后的SSD算法在準確率和召回率兩個性能指標均優于其他算法，對于邊界框的回歸自然就越準確。

(a)幾種經典目標檢測算法的PR曲線(IOU=0.5)

5 消融實驗與目標檢測結果

5.1 新型FPN的消融實驗

為探究新型FPN與原始FPN對AP值的影響，本文設置SSD、SSD+FPN以及SSD+FPN(新型)3組實驗來探究其影響。其余設置均與SSD算法相同。實驗結果如表3所示，3組相比于一組和二組AP值提升了2.62%，1.83%。

表3 新型特征金字塔消融實驗結果

實驗證明新型特征金字塔網絡通過特征融合和注意力機制的方式有效彌補了不同特征圖之間的信息空缺并選擇性地激活和抑制特征圖通道間的主要次要信息。既增強了低階特征圖的語義，也豐富了高階特征圖的細節，又對特征圖內部不同位置特征施以差異性權重值，有效提升了改進后的算法對飛機遙感目標的檢測精度[31]。

5.2 骨架網絡替換和聚焦分類損失函數的消融實驗

為探究骨架網絡替換和聚焦分類損失函數對AP值的影響，本文分別設3組模型對照，一組為SSD+FPN(新型)，二組為SSD+FPN(新型)+ Focal classification loss，三組為SSD+FPN(新型)+ Focal classification loss + ResNet50(改進后)。其余設置均與SSD算法相同。實驗結果如表4所示，第三組相比于一組和二組AP值提升了1.09%和0.86%。

表4 骨架網絡替換與損失函數的消融實驗結果

實驗證明，使用改進后的ResNet50作為算法的骨架網絡相比SDD算法中的VGG16網絡有著更好的特征提取能力。聚焦分類損失函數在一定程度上解決了網絡訓練時正負樣本不均衡的問題，對檢測精度的提高有一定的作用。

5.3 目標檢測結果

改進后的SSD算法對飛機遙感圖像數據集的部分檢測結果如圖10所示，在復雜背景(圖10(a))、小尺度且密集分布的遙感目標(圖10(b))、極小尺度且密集(圖10(c))和曝光背景(圖10(d))的情況下，該算法均可以精確檢測出相關的目標物體，證明了改進后的SSD在不同環境背景且目標面積類型為all時均有較好的檢測效果。

6 結 論

對于SSD算法在飛機遙感圖像領域目標檢測效果不佳的問題，本文對SSD算法做出了一定的改進。使用改進后的ResNet50作為算法的骨架網絡，與改進前的骨架網絡相比有著更加優秀的特征提取能力。設計了新型特征金字塔網絡，該網絡用于不同特征圖之間的特征融合，增加了特征圖之間的相互聯系，保證了不同特征圖上含有特征信息的完整性。還使用了注意力機制監督網絡的學習，在一定程度上提高了算法在復雜環境背景下進行飛機遙感目標檢測的檢測精度。使用了Focal classification loss作為改進后算法的損失函數，與改進前的損失函數相比，Focal classification loss 更加注重解決分類問題中數據類別不平衡以及判別難易程度差別的問題。

從實驗結果來看，改進后的SSD對不同場景下且面積類型不同的飛機遙感目標的AP值為92.45%，FPS為35.6。證明了改進后的算法在檢測精度上要優于SSD算法，對比其他幾種經典的目標檢測算法，改進后的算法在檢測精度和檢測速度方面有著更好的平衡性。