深度學習遙感圖像目標檢測算法性能分析

中國科學院空天信息創新研究院 中國科學院大學光電學院 尚義卓 潘 澤

中國科學院空天信息創新研究院 譚 政 呂群波

從20世紀50年代開始，人類社會逐漸從農業時代和工業時代向信息化時代進行蛻變。信息化具有信息交換、移動通信等表現力，它的產生帶動了新型產業、新型技術的出現，同時也對舊行業帶來沖擊和活力。遙感技術作為信息化的重要產物之一，它利用電磁波反射和輻射特征來獲取地物目標信息，進而實現信息判別、歸類、存儲、處理等功能。它的快速發展在國家民用和軍用領域發揮著至關重要的作用。地圖測繪、災害監測、軍事監測與軍事打擊、資源考察等領域的信息化都離不開遙感技術的支持。

隨著計算數學和信號處理技術的發展，基于深度神經網絡的目標檢測算法獲得了比傳統模板匹配算法更優的結果。深度學習目標檢測算法分為一階段目標檢測（one-stage）和兩階段目標檢測（two-stage）兩類。常見的一階段目標檢測算法有YOLO算法、SSD算法。一階段目標檢測算法的優勢在于利用回歸的思想直接通過圖像得到預測目標框信息，速度快。二階段目標檢測算法在精度方面要優于前者，例如R-CNN、Fast-CNN等，其策略是先利用網絡產生一系列的候選框，然后進行分類和回歸，雖然其精度相較一階段算法準確度更高，但是速度方面相差甚遠。對于遙感圖像的目標檢測，以速度為首要原則，并使得精度有所保障是最為關鍵的一環。

綜上所述，遙感圖像處理在社會發展中發揮的作用日益廣泛。然而，基于目前的遙感圖像目標檢測算法仍存在準確性低、檢測速度慢的問題，并且硬件負荷也越來越高。為顯著降低對硬件算力的需求，提高處理時效性，本論文根據深度學習目標檢測算法遙感圖像飛機艦船目標檢測進行探究，探究對遙感圖像飛機艦船的快速檢測，為未來實現星上遙感圖像目標檢測提供技術支撐。

1 一階段目標檢測算法

一階段目標檢測算法不需要候選框提取階段，算法直接產生物體的類別概率和位置坐標信息以及置信度，僅單次檢測即可完成最終的檢測任務。常見的一階段目標檢測算法有YOLO、YOLOv2、SSD、YOLOv3、Retina-Net等。基于其一階段的性質，它就具備了更快的檢測速度。YOLO系列目標檢測算法的核心思想是將目標檢測任務作為回歸問題，利用目標框預測、置信度預測、類別預測三個損失函數來實現目標的定位與檢測。YOLOv3由于其速度快、精度高的優點，在過去幾年成為學術界和工業界廣泛使用的目標檢測模型之一。隨著YOLO之父退出計算機視覺領域，2020年，新的YOLO系列算法（YOLOv4、YOLOv5）再度出爐。因此本實驗對最新的一階段目標檢測算法進行了復現和性能對比，以探求更好的算法作為遙感圖像目標檢測輕量化網絡的雛形。

1.1 YOLOv3目標檢測算法

YOLOv3的網絡主干是darknet-53，盡管darkenet-53分類精度與ResNet-152和ResNet-101差不多，但是它的網絡深度比兩者淺，因此在計算速度上，它相較于兩者快很多。

在多次卷積的過程中，采用的卷積核大多是3×3，1×1的規模，對于卷積網絡的計算量和復雜度通常采用浮點運算（float point operations，FLOPs)來衡量，那么單個卷積層的網絡計算量公式為：

其中Cin為輸入通道數、Cout為輸出通道數、K為卷積核大小、H和W為輸出特征面寬高。在圖像尺寸固定的條件下，決定網絡計算量的就是輸入輸出通道數和卷積核大小。因此采用較小卷積核的目的既可以提高非線性程度，增加網絡的泛化性，進一步的提高網絡精度，同時又能減少參數提高實時性。

YOLOv3目標檢測網絡中，加入了三個不同尺度的特征，形成了金字塔網絡，使得多個尺度的網絡可以通過級聯和上采樣進行連接。這樣做能夠使得我們找到早期特征映射的上采樣和細粒度特征，特征信息融合更加充分，并獲得更為重要的語義信息。

在對YOLOv3目標檢測算法的復現的性能分析中，本論文也對YOLOv3-Tiny版本進行了比較。隨著YOLOv3在工業化上的普遍使用，根據不同的應用需求和應用場景，對目標檢測算法的要求各不相同。在不考慮小目標的檢測方面，YOLOv3-tiny的速度能夠更快，同時由于其針對的目標偏向于中大型目標，因此對小目標的檢測存在一定的缺陷。YOLOv3-tiny相較于YOLOv3而言，整體的網絡結構沒有明顯差距，僅僅少了預測小目標的特征面特征層（80×80×21的特征面），因此預測特征面的減少，帶來的效果就是網絡計算量減小、網絡速度提升，但同時也會帶來小目標的缺失、精度的下降。

表1為YOLOv3阿與YOLOv3-tiny的各項指標，均在windows7、Pytorch1.6、GTX1080Ti的環境下進行訓練，為確保比較的公平，所采取的權重均為網絡結構初始權重。

表1 YOLOv3與YOLOv3tiny的各項指標對比

檢測圖像尺寸為1024×1024。

從上述指標可以看出YOLOv3的Precision值為94.1%，相較于YOLOv3-tiny要高出4.7%，召回率Recall高出1.2%。mAP作為衡量目標檢測算法的重要姓名能指標，YOLOv3要高出2.1%。盡管在性能上YOLOv3從各方面均比YOLOv30tiny要好些，但是在速度對比上，YOLOv3遠遠落后于YOLOv3-tiny。

圖1為YOLOv3和YOLOv3-tiny的遙感圖像目標檢測效果圖。

圖1 YOLOv3與YOLOv3tiny目標檢測效果圖對比（左YOLOv3、右YOLOv3-tiny）

從兩者的遙感圖像目標檢測效果圖中可以看出，整體上YOLOv3檢測到的目標要更多，更準確，但是它們兩者同時存在漏檢和誤檢的情況發生。將性能指標和效果圖進行分析，YOLOv3的精度雖然更高一些，但是其mAP也僅有73.2%。速度上更不符合遙感圖像目標快速檢測的需求。YOLOv3-tiny速度較快，但是精度表現不好，作為遙感圖像目標快速檢測的初始模型精度上限較低，無法滿足遙感衛星目標檢測的精度需求。

1.2 YOLOv4 目標檢測算法

2020年4 月份，Alexey等人提出了“YOLOv4：Optimal Speed and Accuracy of Object Detection”。論文中提到，現如今存在大量的特征可以提高卷積神經網絡的精度，因此該論文對現有新穎、有效的模塊進行組合和實際的測試，并對各模塊組合所帶來的性能效果進行理論驗證和分析。其中的模塊包括加權-殘差-連接（Weighted Residual Connections，簡稱WRC）、跨階段交叉部分連接（Cross Stage Partial connections，簡稱CSP）、跨小階段歸一化（Cross mini-Batch Normalization，簡稱CmBN）、自對抗訓練（Self-adversarial training，簡稱SAT）和新的激活函數（Mish-activation）。

同樣，YOLOv4的實驗在GTX1080Ti上進行，所采用的環境為Pytorch1.6、windows7。所采用的圖像大小為1024×1024。各精度指標如表2所示。

表2 YOLOv4遙感圖像目標檢測精度指標

對于本研究的遙感圖像數據集，YOLOv4的mAP能夠達到84%，比YOLOv3要高10%，精度提升較高，然而對于一幅1024×1024的圖像，YOLOv4的檢測速度為0.081s，幀率能達到12幀。這相比于YOLOv3和YOLOv3-tiny要慢很多，如果檢測一幅10000×10000的遙感圖像，速度會大幅下降，不滿足本研究探求的快速目標檢測指標。圖2為YOLOv4目標檢測效果圖。

圖2 YOLOv4遙感圖像目標檢測效果圖

從圖2中可以看出，相較于YOLOv3和YOLOv3-tiny，YOLOv4的效果更好，對于飛機的目標檢測精準度高，且漏檢和誤檢在者兩張圖的表現上幾乎沒有。

對于YOLOv4目標檢測算法而言，通過對比、各種模塊進行組合，堆積探索最優性能使得它的精度能夠大幅度提高，但是在速度方面卻略遜一籌。本研究希望能夠找到高精度、高速度的模型來探究為倆實現遙感圖像目標快速檢測這一目的，顯然YOLOv4的速度方面還是有所欠缺。

2 結束語

對于遙感圖像目標檢測，本研究對現有一階段目標檢測算法YOLOv3、YOLOv4進行性能分析和對比，前者速度相比較快但精度偏低，后者精度較高但速度較慢，因此在精度能夠達到要求的前提下，如何設計輕量化遙感圖像目標檢測是未來星上處理的發展方向之一。