基于改進SSD 算法的遙感圖像目標檢測

張 艷，杜會娟，孫葉美，李現國

（1.天津城建大學 計算機與信息工程學院，天津 300384；2.天津市光電檢測技術與系統重點實驗室，天津 300387）

0 概述

近年來，隨著遙感技術的發展，遙感圖像目標檢測在軍事和民用領域得到廣泛應用［1-3］。在實際環境中，遙感圖像受光照、目標形態以及復雜背景的影響，使得其目標檢測面臨諸多挑戰。傳統目標檢測方法，如基于統計的目標檢測［4］、基于知識的目標檢測［5］、基于模型的目標檢測［6］等需要手工定義特征，導致該類方法定義的特征魯棒性差，很難取得較好的檢測效果。

隨著深度學習的快速發展，基于深度學習的神經網絡在自然圖像目標檢測領域取得了較好的效果，目前基于深度學習的目標檢測方法主要分為兩類：一類是以Fast R-CNN［7］、Faster R-CNN［8］為代表的兩階段目標檢測算法，此類算法首先生成候選區域，然后對候選區域進行進一步檢測，檢測精度較高，但是檢測速度較慢；另一類是以YOLO（You Only Look Once）［9］、SSD（Single Shot MultiBox Detector）［10］為代表的一階段目標檢測算法，此類算法直接回歸出目標類別，檢測精度低于兩階段目標檢測算法，但其檢測速度快于兩階段目標檢測算法。隨著目標檢測框架的改進，一階段目標檢測算法的檢測精度接近于兩階段目標檢測算法，因此，一階段目標檢測算法得到更多研究人員的關注。學者們通過對YOLO 算 法進行改進，提出YOLOv2［11］、YOLOv3［12］算法，通過對SSD 算法進行改進，提出DSSD（Deconvolutional Single Shot Detector）［13］、FFSSD（Feater-Fused SSD）［14］算法。

自然圖像目標檢測的發展也推動了遙感圖像目標檢測的優化，不少學者將深度學習應用于遙感圖像目標檢測領域。文獻［15-16］將Faster R-CNN 引入遙感圖像中，相比于傳統算法，Faster R-CNN 大幅提高了目標檢測精度，但是其并沒有充分利用卷積層的信息。文獻［17］提出基于ResNet 的遙感圖像飛機目標檢測方法，其能得到魯棒性強的目標檢測網絡模型，但該方法會造成重復性檢測，影響檢測精度。文獻［18］提出用全卷積網絡與卷積網絡進行遙感圖像飛機目標檢測的方法，但該方法對參數敏感。文獻［19］在YOLO 的基礎上提出YOLT，將其應用于遙感圖像目標檢測，以應對遙感圖像中目標過小的問題，但該方法會提高網絡的計算量。文獻［20］通過采用自上而下和跳躍鏈接的方式利用上下文信息，檢測光學遙感圖像中的小目標，但其只檢測了船只與飛機，沒有檢測遙感圖像中的其他物體。文獻［21］提出一個統一的自我增強的網絡，包括Tiny-Net 骨干網、全局注意力塊以及最終的分類器和檢測器，以檢測遙感圖像中的目標，該網絡對假正例具有魯棒性，但最終平均精確度并未有大幅提升。文獻［22］將小模糊圖像上采樣到精細圖像中，并恢復詳細信息進行小目標檢測，但其RoI 超分辨率無法考慮上下文信息。文獻［23］用Sig-NMS 代替傳統NMS，以提高小物體的檢測精度，但是由于其進行了額外計算，導致檢測時間較長。文獻［24］提出一種邊緣增強超分辨率GAN 以改善遙感圖像質量，同時進行超分辨率和目標檢測，提高遙感圖像中小目標的檢測性能，但其使用高分辨率圖像會增加計算開銷。文獻［25］通過結合SSD 算 法和DenseNet［26］網絡，檢測遙感圖像中的小目標，其在無遷移學習支持下依然能夠達到良好的效果，但是檢測速度較低。

本文 結合FPN（Feature Pyramid Networks）［27］和HRNet（High-Resolution Net）［28］對SSD 算法進行改進，提出一種多尺度特征融合的遙感圖像目標檢測（Multiscale Feature Fuse SSD，MFFSSD）算法。該算法通過融合淺層特征圖的位置信息和深層特征圖的語義信息，豐富上下文信息，并對融合后的特征圖進行卷積，以減少混疊效應、消除不同特征圖的差異以及增強特征提取能力，從而提升遙感圖像的目標檢測精度。

1 相關工作

1.1 SSD 算法

為了解決Faster R-CNN 檢測速度過慢、YOLO檢測精度不高的問題，文獻［10］提出SSD 目標檢測算法。SSD 算法沿用了YOLO 中回歸的思想，直接回歸出目標的邊界框和分類概率，同時沿用了Faster R-CNN 中基于候選框的策略，使用大量的anchor 提升檢測精度。

根據輸入圖片尺寸的不同，SSD 算法分為SSD300 和SSD512 2 種結構，圖1 所示為SSD300 的結構。SSD 算法在特征提取部分使用VGG16 網絡，并將VGG16 網絡中的最后2 個全連接層（FC6、FC7）轉換成2 個卷積層（Conv6、Conv7），在VGG16 網絡后又連接了多個卷積層。在目標檢測部分，采用多個網絡層的特征圖進行目標檢測，使用Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2 和Conv11_2 這6 個網絡層生成的特征圖進行預測輸出。雖然SSD算法使用不同網絡層的特征圖進行預測輸出，提升了檢測精度，但是各個特征圖之間相互獨立，沒有很好地利用淺層特征圖位置信息豐富、深層特征圖語義信息豐富的特點，忽視了上下文之間的聯系。

圖1 SSD300 結構Fig.1 Structure of SSD300

1.2 FPN 算法

FPN 算法采用SSD 中特征圖金字塔方法，并設計自底向上（bottom-up）、自頂向下（top-down）和橫向連接（lateral connection）結構，融合了具有高分辨率的淺層特征圖和具有豐富語義特征的深層特征圖，在沒有大幅降低檢測速度的同時提升了檢測精度，FPN 算法框架如圖2 所示。FPN 算法將語義信息更強的深層特征圖做2 倍上采樣，然后將該特征橫向連接至較淺一層的特征，從而加強深層特征信息并提高檢測精度。

圖2 FPN 算法結構Fig.2 FPN algorithm structure

2 多尺度特征融合的遙感圖像目標檢測算法

本文提出的MFFSSD 算法對SSD 算法進行了改進，設計多尺度特征融合模塊，該模塊包含特征圖融合（Add）模塊和冗余信息去除（Re）模塊。Add 模塊對不同網絡層的多尺度特征圖進行融合，Re 模塊對融合后的特征圖進行卷積操作。多尺度特征融合模塊結構如圖3 所示。

圖3 多尺度特征融合模塊Fig.3 Multi-scale feature fusion module

2.1 特征圖融合模塊

特征融合方法主要有向量拼接（Concatenate）和特征對應元素逐位相加（point-wise add）2 種［29］。向量拼接融合方法將需要融合的特征圖的通道數合并，該方法會產生大量參數。特征對應元素逐位相加融合方法將需要融合的特征圖的值相加，其參數量遠小于向量拼接方式。考慮到實時性的需要，本文基于特征對應元素逐位相加融合方法，設計一種特征圖融合模塊。由于不同網絡層輸出的特征圖尺寸維度不同，當在淺層特征圖中引入深層特征時，需要將深層特征圖進行反卷積操作，當在深層特征圖中引入淺層特征時，需要將淺層特征圖進行卷積操作，以保證融合時特征圖的尺寸和通道數相同。根據需要融合的特征圖的尺寸與通道數，本文設計3 種不同的融合方式，如圖4所示。

圖4 特征圖融合模塊Fig.4 Feature map fusion module

圖4（a）結構將第i層和第（i+1）層的特征圖經過反卷積操作轉換成與第（i-1）層特征圖的尺寸維度相同，然后將3 張尺寸維度相同的特征圖進行融合；圖4（b）結構將第（i-1）層的特征圖進行卷積操作轉換成與第i層特征圖的尺寸維度相同，將第（i+1）層的特征圖經過反卷積操作轉換成與第i層特征圖的尺寸維度相同，然后將3 張尺寸維度相同的特征圖進行融合；圖4（c）結構將第（i-1）層和第i層的特征圖經過卷積操作轉換成與第（i+1）層特征圖的尺寸維度相同，然后將3 張尺寸維度相同的特征圖進行融合。

在對不同尺寸的特征圖進行融合時，為減少模型的參數量，較深層網絡的特征圖通過一次反卷積（Deconv）操作，較淺層網絡的特征圖通過一次卷積（Conv）操作，以實現不同網絡層特征圖尺寸和維度的變換。在進行反卷積與卷積操作之前，對每一層進行1×1 卷積，保證不同網絡層的特征圖的通道數一致。特征圖融合模塊通過融合3 個不同網絡層的多尺度特征圖，不僅可以將豐富的語義信息從較深的層融合到較淺的層，還可以將豐富的位置信息從較淺的層融合到較深的層，從而豐富了不同網絡層的特征圖特征，保留了更多的上下文信息。

2.2 冗余信息去除模塊

融合不同網絡層的特征圖，雖然可以彌補淺層特征語義信息不強、深層特征位置信息不強的問題，但是，在特征圖融合的過程中，不同網絡層的特征圖疊加會造成特征的不連續，從而形成混疊效應。因此，本文設計冗余信息去除模塊，通過卷積操作提取特征圖中的特征，同時對特征信息進行篩選，以保證特征的穩定性，減少特征圖融合時帶來的混疊效應。冗余信息去除模塊結構如圖5 所示。冗余信息去除模塊的輸入為特征圖融合模塊的輸出，冗余信息去除模塊包含1×1 卷積層和3×3 卷積層。第一個1×1卷積層用來減少通道數，通道數由N變為N/2，從而提升了冗余信息去除模塊的速度。2 個3×3 卷積層用于特征提取。為了保證整個網絡的特征提取能力，在冗余信息去除模塊的最后添加一個1×1 卷積層，使通道數由N/2 變為N。

圖5 冗余信息去除模塊結構Fig.5 Structure of module for removing redundant information

2.3 損失函數

本文采用SSD 算法的損失函數，包含用于分類的損失和用于定位的損失，如式（1）所示：

其中：x為當前預測框的類別信息；c為預測框類別信息的置信度；l為預測框的位置信息；g為真實框的位置信息；N為與真實目標框相匹配的先驗框的個數；α是權值系數，α為1，Lconf(x,c)為類別損失，其采用交叉熵損失函數；Lloc(x,l,g)為位置損失，其采用SmoothL1損失函數。

置信度損失Lconf(x,c)是多類別置信度（c）的Softmax loss，采用交叉熵損失函數，如式（2）所示：

位置損失Lloc(x,l,g)是預測框（l）與真實框（g）之間的SmoothL1損失，如式（4）所示：

3 實驗與結果分析

本文對所提模型進行消融實驗，以驗證其檢測性 能。實驗環境為Intel?Xeon?CPU E5-1650 v4 @3.6 GHz×12，配置Tesla K20c GPU，Linux 操作系統，Pytorch 深度學習框架，開發環境為Python。利用在Image 數據集上預訓練好的VGG16 模型，損失函數沿用SSD 算法的損失函數，包含定位損失和分類損失，batch size 為1，動量因子為0.9，權重衰減系數為0.000 5，學習率為0.000 01。

3.1 數據集與評價指標

本文所用數據集為NWPU VHR-10［30］數據集，NWPU VHR-10 是由西北工業大學標注的用于遙感圖像目標檢測的數據集，共有800 張光學遙感圖像，其中包含目標的有650 張，每張照片最少包含一個目標，圖像分辨率為0.5 m～2.0 m。該數據集共包含10 個類別目標，手動注釋了757 個飛機、302 艘船、655 個油罐、390 個棒球場、524 個網球場、159 個籃球場、163個田徑場、224個港口、124 座橋梁和477 輛車。考慮到包含目標的圖片較少，為了避免過擬合問題，本文采用翻轉、圖像尺寸縮放以及隨機裁剪等操作進行數據擴充以擴大樣本數量。考慮到遙感圖像較大，將輸入圖像的尺寸都調整為800像素×800像素。在訓練過程中，將數據集的60%用來訓練，剩下的40%用于測試，將NWPU VHR-10 數據集格式統一為pascal_voc。

本文采用平均檢測精度（Mean Average Precision，MAP）作為評價指標。每一個類別都可以根據準確率（Precision）和召回率（Recall）得到P-R 曲線，平均精確度（Average Precision，AP）就是P-R 曲線的面積，AP 值越高代表檢測性能越好，MAP 就是所有類AP 的平均值。Precision 和Recall 可以根據TP、TN、FP、FN 計算，Precision（P）、Recall（R）、AP（AAP）計算公式分別如式（6）～式（8）所示：

其中：TTP為真正例；TTN為真反例；FFP為假正例；FFN為假反例。

3.2 消融實驗

為驗證MFFSSD 算法的性能，通過融合不同的網絡層，本文設計2 種結構，如表1 所示，結構（a）融合SSD 算法中的conv4_3、conv7 以及conv9_2，結構（b）融合SSD 算法中的conv4_3、conv8_2 以及conv10_2，2 種結構在NWPU VHR-10 數據集上的實驗結果（檢測精度）如表2 所示，√表示有該層。

表1 2 種融合結構Table 1 Two fusion structures

表2 不同結構模型的實驗結果對比Table 2 Comparison of experimental results of different structural models

由表2可以看出，結構（a）的檢測精度優于結構（b）。在NWPU VHR-10 數據集中需要檢測的目標相對較小，在較高層中，經過多層卷積之后小目標的信息丟失較為嚴重，而較低層中小目標的信息相對更加豐富，因此，在進行特征融合時，融合較低層的特征比融合較高層特征的檢測效果更好，即本文后續實驗采用結構（a）。

3.3 算法對比實驗

將本文 算法與Faster R-CNN［8］、YOLOv1［9］、YOLOv2［11］、SSD［10］、Mask R-CNN［31］和Sig-NMS［23］算法進行對比，實驗結果如表3 所示，其中最優結果加粗表示，部分算法的目標檢測結果如圖6 所示，為進一步展示本文算法的效果，圖7 給出本文MFFSSD算法的部分檢測結果。Faster R-CNN 采用VGG 網絡作為特征提取器，YOLOv1 采用Darknet-24 的檢測網絡，YOLOv2 采用Darknet-19 的檢測網絡，SSD 采用VGG16 網絡作為基礎網絡，Mask R-CNN 采用ResNet+FPN 網絡進行特征提取，Sig-NMS 沿用Faster R-CNN 用VGG 網絡進行特征提取，MFFSSD算法沿用SSD 用VGG16 網絡作為基礎網絡。

圖6 4 種算法的目標檢測結果對比Fig.6 Comparison of target detection results of four algorithms

圖7 本文MFFSSD 算法目標檢測結果Fig.7 Target detection results of MFFSSD algorithm in this paper

表3 7 種算法在NWPU VHR-10 數據集上的實驗結果對比Table 3 Comparison of experimental results of seven algorithms on NWPU VHR-10 dataset

由表3 可以看出，基于候選框的Faster R-CNN的檢測精度高于基于回歸的YOLOv1，與基于回歸的檢測框架相比，基于候選框的檢測框架能更好地區分正負樣本，提高檢測精度。YOLOv2 對YOLOv1 進行改進，檢測精度略高于Faster R-CNN。Mask R-CNN 在Faster R-CNN 的基礎上進行改進，檢測精度高于YOLOv2。Sig-NMS 算法用Sig-NMS 代替Faster R-CNN 中的NMS，檢測精度與Mask R-CNN相近，高于YOLOv2。相較于YOLO 系列與Faster R-CNN 系列，SSD 網絡檢測精度大幅提高，證明了多尺度特征金字塔結構能有效提高目標檢測精度。本文在多尺度特征金字塔的基礎上設計多尺度特征融合模塊，提出了MFFSSD 算法，該算法能夠增強網絡對多尺度對象特征的提取能力，其對大多數類別的檢測精度較對比算法均有明顯提升，特別是對小目標的檢測精度。相對于SSD 算法，MFFSSD 算法在飛機目標上的檢測精度高0.007，在船只目標上檢測精度高0.048，在儲油罐目標上檢測精度高0.093，在車輛目標上檢測精度高0.139，在NWPU VHR-10 數據集上平均檢測精度比SSD 算法高0.045。

從圖6 可以看出，在檢測飛機目標時，4 種算法均可全部檢測出目標；在檢測船只目標時，Faster RCNN 算法、SSD 算法和Sig-NMS 算法均存在目標漏檢的情況，MFFSSD 算法可檢測出全部船只；在檢測儲油罐、車輛這種小又密集的目標時，Faster R-CNN算法、SSD 算法和Sig-NMS 算法均存在目標漏檢、錯檢較多的情況，MFFSSD 算法雖然也有漏檢、錯檢現象，但整體效果優于其他3 種算法。結合圖6、圖7 可以看出，MFFSSD 算法可以很好地檢測出遙感圖像中的小目標。

4 結束語

針對遙感圖像中的小目標檢測問題，本文對傳統SSD 算法進行改進，提出一種多尺度特征融合的遙感圖像目標檢測算法。在SSD 算法的基礎上設計特征融合模塊和冗余信息去除模塊，以增強網絡的特征提取能力并提高小目標的檢測精度。實驗結果表明，該算法在遙感圖像公開數據集NWPU VHR-10中取得了93.9% 的平均檢測精度，檢測性能優于Faster R-CNN、SSD 等算法。下一步將對網絡結構進行優化，考慮在其中加入GAN 網絡以提升檢測精度。