DS-YOLO網絡在遙感圖像中的飛機檢測算法研究

吳 杰，段 錦，赫立群，李英超，朱文濤

1.長春理工大學 電子信息工程學院，長春130022

2.長春理工大學 空間光電技術研究所 基礎技術實驗室，長春130022

隨著遙感技術與通信的發展，遙感圖像中所反應的信息也越來越豐富，飛機在民用和軍事上都有著不可代替的作用，因此遙感圖像中飛機目標的檢測有著重要的價值。針對遙感飛機圖像存在的目標較小、背景復雜、曝光度高等問題，傳統的檢測方法例如尺度不變特征[1]、方向梯度直方圖[2]和DPM[3]存在較差的魯棒性。近幾年，深度學習在目標檢測領域有著非常好的效果，基于卷積神經網絡（CNN）的目標檢測算法可以分為兩類：第一類是基于區域的目標檢測方法，主要有Faster RCNN[4]、Mask RCNN[5]等、這類方法優勢在擁有較高的檢測精度，但是檢測速度慢。第二類是基于回歸的目標檢測方法，如SSD[6-7]，YOLO[8]等，YOLO檢測自今已經發展了三代，并衍生出很多針對特定場景的網絡，YOLO 首先使用回歸的思想進行圖像目標分類，檢測速度達到45幀/s，缺點是對小目標的定位檢測度不高；YOLOv2 優化了YOLO的模型結構，提升了檢測速度但是由于基礎結構簡單，沒有對檢測精度提升[9]；YOLOv3利用深度殘差網絡提取圖像特征，由于用于特征提取的最小特征圖偏大，造成檢測速度降低和對中等或較大尺寸物體檢測效果不佳；YOLOv3-tiny 版本將原網絡進行壓縮，沒有使用殘差層，只使用了兩個不同尺度的YOLO 輸出層，提升了檢測速度和對小目標檢測精度，由于遙感圖像目標飛機多為相對尺寸小于0.1 的小目標，且檢測速度要求較高，適合作為本此檢測的基礎網絡[10]，它采用的是端到端的目標檢測，在保證準確度的同時，大大提高了檢測速度。

本文使用的網絡是在YOLOv3-tiny[11]的基礎上進行的改進，針對遙感飛機圖像數據集，設計了一種帶有深度可分離卷積[12]的33 層神經網絡結構DS-YOLO，對層級結構的參數進行調整，并增加一個尺度的邊界框預測，解決了YOLOv3-tiny 召回率低的問題，提高了對飛機目標的檢測準確度，同時深度可分離卷積替代了傳統的卷積，減少了模型的權重參數，加速模型的收斂，提高了檢測的實時性。最后，通過分組卷積[13]和通道特征變換加強特征圖聯系，提高了損失精度。實驗在遙感數據集上進行，結果表明本網絡在對小目標、高曝光和復雜背景的檢測從精確度和召回率上分析都高于之前的網絡。

1 YOLOv3-tiny網絡檢測原理

YOLOv3-tiny 是YOLOv3[14]的簡化版本，主干網絡采用一個7層卷積網絡對輸入圖像進行特征提取，網絡在分辨率為13×13 和26×26 的特征圖上進行多尺度預測。YOLOv3-tiny的優點主要是網絡結構簡單，可以在嵌入式平臺運行，缺點為分類精度比較低。

YOLOv3-tiny網絡在接收輸入圖像后，首先會把圖像調整為416×416大小的圖像，然后把整個圖像劃分成S×S個網絡。如圖1所示，每個網絡負責對落在其中心位置的目標進行檢測，最終輸出B個邊界框（圖中為3個）和C個置信度（屬于某種類別的概率）[15]。以圖1中白色矩形框為例，每個選框用(x,y)表示選框中心相對于單元格的坐標，w和h分別代表選框的真實寬度和高度，IOU 表示真實標注框與算法檢測框的交并比，如公式（1）所示，檢測框精準度與IOU大小成正比。

圖1 DS-YOLO在7×7的網格中預測的邊界框

式中，Bop為預測框與標注框的交集，Bgt表示預測框與標注框的并集。YOLOv3-tiny 的損失函數由3 部分組成，分別為坐標預測、置信度計算和目標分類。第一部分使用坐標x和y的誤差平方和來預測邊界框的中心坐標，如公式（2）所示：

第三部分關于置信度和邊界框做一個最終類別預測，用判斷是否有飛機目標中心落在網格中，以IOU和置信度為檢測標準，為通過非極大值抑制從預測的邊界框中選出合適的預測框。

2 基于YOLOv3-tiny的網絡結構改進

為提高遙感數據集中飛機目標的檢測速度和精度，本實驗分別從網絡結構中的卷積種類、卷積方式以及尺度檢測上做了三點改進。

2.1 基于深度可分離卷積的網絡結構改進

針對遙感數據集中的單目標檢測可以適當減少網絡計算量，但是由于傳統卷積核過大，即便YOLOv3-tiny只有7層經過上萬次迭代后還是會產生龐大的計算量。參考Mobilenet[6]中殘差網絡瓶頸結構，本文改進點之一是用深度可分離卷積代替傳統卷積，摒棄傳統卷積同時考慮通道和空間區域的思想，而是實現了通道與空間區域的分離，深度可分離結構示意圖如圖2所示。

圖2 深度可分離卷積結構圖

從圖2 中可以看出深度可分離卷積的特征提取過程：假設輸入特征圖大小為B×B×M，輸出特征圖大小為B×B×N，卷積核大小為D×D，則傳統卷積計算量為C=B×B×M×N×D×D，深度可分離卷積計算的參數量為D=B×B×M+M×N×D×D，深度可分離卷積和傳統卷積的參數量之比為：

深度可分離起到的作用相當于對一幅圖像的空間信息和深度信息進行去耦，將每個通道分別用一個3×3卷積來對空間區域進行特征提取，再用1×1標準卷積將所提取的特征圖從不同圖像通道上進行融合。

本文引入深度可分離卷積代替傳統卷積，減少訓練權重參數，達到模型的輕量化，降低了算法的浮點數運算以提升檢測速度，并在此基礎上對分組卷積進行通道混洗，加強通道之間的聯系，防止過擬合。改進后的網絡結構如圖3 所示。改進后的網絡為適應單一目標的遙感飛機檢測，將輸入分辨率從原來的416×416增加到448×448以增大檢測的感受野，通過33組1×1的點卷積和3×3的空間卷積后用分類器進行進檢測分類。

如圖3 所示，以第一個卷積塊為例，輸入圖像尺寸為224×224×32，輸出為224×224×64，傳統卷積計算量為：3×3×32×64×224×224=924 844 032，深度可分離分組卷積中（D=3）的參數計算量為：1×1×1×32×224×224+32×64×224×224=104 366 080。通過計算可知，加入深度可分離卷積可以有效地降低運算量和模型大小。

2.2 結合分組卷積和通道變換的圖像特征提取

1×1點卷積的引用可以減少參數計算量，然而大量的1×1 卷積會充斥有限的通道，減少損失精度，因此本文引入了分組卷積和通道特征變換來解決這個問題，在每個輸入通道上分別進行卷積的操作，組卷積的形式可以明顯的減少損失精度。分組卷積如圖4所示。

設分組大小為gn，給定輸入大小為：m×m×h1，卷積核為：k×k，輸出特征圖的大小為：r×r×h2，普通卷積的參數計算量為：k×k×h1×r×r×h2，分組卷積的參數計算量為：k×k×h1/gn×r×r×h2/gn)×gn，可以看出加入分組卷積后的參數計算量是普通卷積的gn倍。

通過確保每個卷積操作僅在對應的輸入通道組上，組卷積可以顯著的降低計算損失。其中分組數gn與實驗設備性能和遙感圖像波段數有關，針對本此實驗條件和數據集對gn大小設置幾組實驗，比較不同下模型的錯誤率，實驗結果見表1。

圖3 DS-YOLO網絡結構圖

圖4 分組卷積原理圖

表1 不同分組數下改進前后模型檢測的錯誤率 %

由表1可知起初隨著分組數gn的增加，模型檢測的錯誤率降低，但是當組數大到一定程度，每個卷積濾波器的輸入通道數越來越少，損害模型性能使得錯誤率提高，所以分組數選擇gn=3。

如果多個組卷積堆疊在一起，會有一個副作用：某個通道輸出僅從對應分組輸入通道中導出，這樣輸入輸出通道會是全關聯的，分組卷積這樣的屬性降低了通道組之間的信息流通，降低了信息表示能力。

因此本文實驗通過通道特征變換來重組分組之間的特征，通道特征變換如圖5所示。

圖5 通道混洗步驟圖

本文遙感圖像數據集通過圖像增強和輻射變換處理為三通道的圖像作為輸入，現將每組通道3等分并構成3×3 的矩陣，通過“reshape”函數進行矩陣轉置操作，將卷積分組特征轉換位置后再平坦化，分回給各個組卷積作為下一層的輸出，增強了g1、g2和g3不同分組通道之間的信息流通和表示能力。

2.3 結合先驗框和結構尺度的參數調整

本文所設計的遙感飛機目標檢測算法將使用多尺度融合檢測這一優秀的思想[16]，結合K-means 維度聚類算法[17]和距離公式（6）對目標檢測數據集完成聚類分析：

式（6）中controid表示簇的中心，box表示樣本，IOU(box,centroid)表示中心框和聚類框的交并比。最終得到的聚類結果圖如圖6 所示，其中橫坐標K為先驗框的個數，縱坐標為平均交并比。

圖6 聚類分析與檢測率的關系

預測框的個數越多檢測速度越慢，由圖6 可以看出，當橫坐標K的個數也就是先驗框的個數大于6 后，縱坐標平均交并比Average IOU 的提升幅度就沒那么明顯了。所以本文選擇的先驗框的個數為6，這樣可以在保證檢測精度的情況下又使算法具有較快的檢測速度。當K=6 時，通過聚類算法所得到先驗框的大小分別為（13，20）、（21，32）、（27，49）、（31，54）、（34，65）、（47，90）。

針對單一小目標的遙感飛機數據集，本文在YOLOv3-tiny 網絡的2 個尺度的基礎上擴展為3 個尺度，融合更多底層特征語義信息，實現更加準確的識別和定位。

由圖7中可以看到，改進的多尺度融合網絡分別選擇7×7、14×14、28×28共3個分辨率進行預測，每個分辨率分配2 個候選框，圖7 中n×代表小尺度進行n倍上采樣操作。分辨率7×7 為尺度1，分辨率14×14 為尺度2，它不僅擁有自身的特征信息，還會融合尺度1的特征圖經過2 倍上采樣后的信息。同理，增加的尺度3 包含的是28×28特征圖與尺度1和尺度2上采樣融合后的特征信息，可以獲得更多的特征信息，對復雜的背景、較小的目標有了更加細致的學習。

圖7 DS-YOLO多尺度融合預測結構圖

3 實驗結果與分析

3.1 數據集與實驗環境

基于深度學習技術的目標檢測算法中，數據集的質量將直接決定訓練好的模型的性能上限。本文選用西北工業大學的NWPU VHR-10數據集，由于不同衛星拍攝出的遙感圖像質量不同、飛機的角度不同、高度不同等因素，數據集中包括目標清晰、復雜背景、云霧遮擋、過度曝光、個別目標小等不同情況下的遙感飛機圖像。為了減少過擬合，改進模型的泛化性能，使用目標飛機和遙感圖像實例分割標的方法進行數據增廣，飛機目標數據集個別實例如圖8所示。用開源標注工具LabelImg對遙感圖像進行標注，使用此軟件可以將數據集中的圖像標注為.xml和.txt兩種文件。標注后的文件中會保存圖像中每個目標的類別、大小和位置等信息。

圖8 遙感圖像中低質量飛機數據集實例

實驗硬件配置為Intel Core i7-6700 CPU 處理器，GeForce GTX 1060 顯卡的服務器，主要用來訓練網絡模型。

軟件環境：操作系統為64位Ubuntu18.04；深度學習框架：Darknet；可視化軟件：OpenCV。

本次實驗訓練迭代次數為100 000 次，學習率設為0.001，在訓練過程圖中每4 000次迭代保存一次此時的網絡模型。為了證明本章所設計的算法可以完成對目標數據集的學習，利用matlabplot 庫將訓練中的Loss、IOU數據可視化，最終得到如圖9所示的訓練過程中二者的變化曲線。

圖9 DS-YOLO算法訓練中Loss與IOU變化圖

從圖9可以看出，網絡在訓練過程中損失函數隨著迭代次數的增加而逐漸收斂，模型的精準度準建提高，從而說明DS-YOLO目標檢測網絡可以學習到遙感數據集中的飛機細節內容。使用其他的深度學習算法Faster RCNN、SSD、RetinaNet等8種流行算法分別在本實驗的遙感數據集進行訓練，并用測試集進行檢測分析，得到圖10 算法間的mAP 和FPS 的對比圖。實驗表明，本文改進算法DS-YOLO 對遙感飛機圖像檢測精度以及速度上都明顯優于其他算法。選擇圖10 中mAP 最高的RetinaNet 算法和速度最快的YOLOv3-tiny 算法作為本實驗的對比算法，接下來要對訓練過程中產生的多個權重進行選擇。

圖10 不同算法與本文算法的實驗結果對比圖

3.2 最優算法模型的選擇

在NVIDIA 1060 顯卡上對相同遙感飛機數據集進行訓練。本文對訓練所得到的21 個算法模型（在訓練中每個4 000 次迭代保存一次模型），采用mAP（mean Average Precision）來進行目標檢測精度描述。為了計算mAP，首先要計算精確率（Precision）與召回率（Recall）兩個指標。精確率P如公式（7）所示是指檢測結果中檢測正確的目標個數所占的比例。

召回率R是指正確的檢測結果個數在待檢測目標總數中所占的比例，計算公式（8）：

其中，TP表示檢測正確的飛機數，Fp表示未被檢測出的飛機數，FN表示檢測錯誤的個數（例如把乘客通道等機場設施誤檢為飛機），對目標檢測任務中的所有類別的AP 值進行計算后，取得平均值即為算法的mAP，目標檢測算法的檢測精度隨著mAP變大而增高。

在YOLOv3-tiny、RetinaNet 和DS-YOLO 這3 個算法中AP 最高的模型即認為它們是對應算法的最優模型，在訓練集上對3 個算法進行訓練，最終得到的迭代次數與AP值的變化關系曲線圖如圖11所示。

圖11 迭代次數與AP值的變化關系曲線圖

從圖11 中可以看出，在65 000 次迭代時YOLOv3-tiny 算法的AP 值達到峰值，在69 000 次迭代時得到的RetinaNet 算法模型的AP 值最高，在61 000 次迭代時得到的DS-YOLO 算法模型的AP 值最高，此時得到的訓練好的模型被認為是各自算法最優網絡模型。下文，對算法檢測指標的對比都使用這3個算法的最優模型。

3.3 檢測結果與分析

本節用YOLOv3-tiny算法、RetinaNet算法和本文的DS-YOLO算法對500張測試圖片進行測試，如圖12，主要列舉了在4組不同質量的遙感圖像（云霧、高曝光、復雜背景、小目標）下的飛機檢測圖。

圖12 YOLOv3-tiny、RetinaNet與DS-YOLO

在數據集上的檢測結果圖（漏檢、誤檢飛機已經標注）

從實驗結果可以得出YOLOv3-tiny、RetinaNet 和DS-YOLO 算法在不同低質量圖像種類下檢測指標，如表2～4 所示（表中加黑字體為每列（除清晰圖像）最優值）。

表2 YOLOv3-tiny算法在低質量遙感圖像下檢測指標 %

表3 RetinaNet算法在低質量遙感圖像下檢測指標%

表4 DS-YOLO算法在低質量遙感圖像下檢測指標%

從表2～4 中可以看出，改進后的DS-YOLO 算法在各個低質量遙感圖像上的識別指標都有不同幅度的提升，在檢測準確度上，對于高曝光的遙感飛機數據集YOLOv3-tiny、RetinaNet 和DS-YOLO 算法都能成功檢測到飛機，但是檢測精度明顯后者較高，對于云霧遮擋的遙感數據集，檢測準確率上DS-YOLO 比YOLOv3-tiny高12.9%，在召回率上相差僅2.6%，說明此情況飛機都村子嚴重的漏檢問題；對于目標較小的遙感數據集，DS-YOLO 比YOLOv3-tiny 算法均高出10 個以上百分點，說明改進的基于3個預測框的網絡對小目標的檢測能力更強；在復雜背景下的識別指標提升不大，說明DS-YOLO算法在復雜背景下依然有改進空間。三者都出現誤檢的情況，云霧遮擋情況下對三者的mAP 和召回率影響最大，而高度曝光環境對三者的檢測結果影響最小。

各種算法在測試集上的整體檢測指標如表5 所示。從表5 可以看出，本文算法DS-YOLO 的檢測速度相比YOLOv3-tiny算法，從每秒26幀提升到每秒29幀，說明深度可分離卷積的引用減少了模型參數，提高模型運行速度。在檢測準確度上，對于高曝光的遙感飛機數據集RetinaNet 算法和本文的DS-YOLO 算法都能成功檢測到飛機，但是檢測精度明顯后者較高，對于其他低質量的數據集，YOLOv3-tiny和RetinaNet算法明顯存在漏檢的情況，測試集的500張圖片共有3 723架飛機，使用這3種網絡分別在測試集上測試，分別計算準確率和召回率，得出YOLOv3-tiny網絡誤檢架數為276架，準確率為92.6%，漏檢架數為577架，召回率為84.5%；RetinaNe網絡誤檢架數為124 架，準確率為96.7%，漏檢架數為577 架，召回率為95.6%；DS_YOLO 網絡誤檢架數為78架，準確率為97.9%，漏檢架數為63架，召回率為98.3%。從表中可以看出，相比于改進前的YOLOv3-tiny 算法，DS-YOLO在測試集上mAP提升了5.3%，召回率提升了13.8%。相比于RetinaNet 算法，DS-YOLO 在測試集上mAP提升了1.2%，召回率提升了2.7%。

表5 YOLOv3-tiny、RetinaNet和DS-YOLO的檢測指標

4 結論

本文目的是基于YOLOv3-tiny 深度卷積神經網絡設計一種檢測遙感圖像中飛機目標的網絡DS-YOLO。首先對本文實驗的數據集進行聚類分析，選出合適的候選框，并分配給不同尺度進行融合預測；其次結合分組卷積與深度可分離卷積，改進網絡的特征提取方式，減少網絡訓練時間和模型大小；最后通過對YOLOv3-tiny、RetinaNet和DS-YOLO這3種網絡在遙感飛機數據集上進行訓練和測試，經過分析表DS-YOLO 網絡在低質量數據集上的mAP 和召回率都優于其他網絡，并可以達到實時性。