基于輕量化YOLOv3的遙感軍事目標檢測算法

秦偉偉，宋泰年，劉潔瑜，王洪偉，梁 卓

1.火箭軍工程大學 核工程學院，西安710025

2.西北工業大學 光電與智能研究院，西安710072

3.中國運載火箭研究院，北京100076

近年來，隨著衛星發展進程的加快，遙感圖像的質量和數量都有了飛躍式的發展。這些圖像已經被廣泛應用，而挖掘遙感圖像中的豐富信息，無論是民用生活還是軍事作戰，都具有極大的研究價值。在現代化戰爭中，信息是命脈，而掌握了信息，就奪得了戰爭的主動權。及時從海量的遙感圖像中準確識別出軍事目標，對于作戰應用極其重要。在未來戰爭中，智能化作戰是發展趨勢，而導彈智能突防的研究則具有重大現實意義，導彈智能突防首先需要識別敵方反導目標，而后才能根據實際情況作出應對。本文從遙感圖像中檢測敵方防空導彈陣地。

在遙感目標檢測的工作中，遙感目標的尺寸不一，方向不一，背景復雜的特性給檢測帶來了極大的挑戰。在軍事應用領域，對目標檢測算法的精確率，檢測速度以及網絡的輕量化提出了極高的要求。部署在突防作戰的導彈上，算法需要在保證網絡輕量化和檢測速度的基礎上，提升檢測精確率。

當前，在目標檢測研究方面，主流的檢測算法分為兩類。一類是兩階段檢測算法，主要代表是R-CNN[1]系列算法：R-CNN、Fast R-CNN、Faster R-CNN以及基于此系列的多種改進算法，例如：HyperNet、Mask R-CNN、R-FCN、Cascade R-CNN[2]。這類算法在檢測小物體，目標擁擠等較難任務時效果很好，但是由于其需要先對感興趣的區域生成，然后對該區域進行類別分類與位置回歸，檢測速度方面有待進一步提高。另一類是單階段檢測算法，主要代表算法有SSD[3]、YOLOv1[4]、YOLOv2[5]、YOLOv3[6]算法，以及基于它們的一系列改進算法，例如DSSD、RSSD、RefineNet等算法[7]。這些檢測算法已經在軍事作戰、安防、自動駕駛、機器人、搜索推薦、醫療診斷等領域廣泛應用。在輕量化網絡的研究方面，崔洲娟等人以輕量化網絡MobileNetV2為檢測網絡的主干，融合通道空間協同注意力模塊，設計了一種檢測算法，并且成功部署在無人機上[8]；任坤等人以輕量級網絡MobileNetV2-SSD為基礎，設計了一種多尺度像素特征融合模塊，并且應用于實時小交通標志檢測[9]；馬立等人針對小目標漏檢的情況，通過使用深度可分離卷積降低模型尺寸以及參數量，改進損失函數達到了良好的效果[10]；宋艷艷等人針對多尺度以及目標遮擋的問題，利用K-means算法重新聚類邊界框來適應多尺度目標，改進損失函數，進而達到了很好的檢測效果[11]。

為了滿足彈載部署環境算力的要求，準確快速檢測出遙感圖像中的典型軍事目標，制作了PAC-3導彈陣地數據集，數據來源為開源的Google Earth。在充分分析數據集的基礎上，利用K-means算法，聚類出適合本數據集的先驗框。選擇YOLOv3算法為文中的基礎算法，將主干網絡替換為輕量化的MobileNetV2網絡[12]。在檢測算法中加入適用于遙感目標特性的輕量化高效通道協同注意力模塊（Lightweight and efficient Channel Collaborative Attention Module，CCAM）和目標旋轉不變性檢測模塊（Target Rotation Invariance Detection Module，RIDM）。通過對網絡的改進，實驗結果表明本文提出的算法在性能上有了較大的提升，能夠兼顧精確率、召回率、檢測速度、網絡大小等各方面的要求，準確快速地檢測出目標陣地。

1 網絡結構分析算法原理

1.1 YOLOv3目標檢測算法

YOLO（You Only Look Once）算法最初是Redmon等人在2016年提出的一種單階段目標檢測算法，經過改進發展，到2018年已經出現了YOLOv3網絡。相比起YOLOv2，YOLOv3網絡在保證檢測速度的基礎上又兼顧了檢測精確率，并且提升了小目標以及密集場景下的檢測效果，性能比較穩定，現在已經被廣泛部署在工業生產中。

本文采用基于區域回歸的單階段目標檢測YOLOv3模型，該算法將目標檢測當成一種回歸問題，通過回歸的方式來檢測目標的位置，以回歸的方式只需要單一的網絡對整張圖片做一次評估就可以得到目標邊界框和類別。模型可以分為以下三步：首先將整個圖片等分為S×S個格子；其次將整張圖片送入深度神經網絡，預測每一個格子是否存在目標、目標的邊界框、目標的類別；最后將預測的邊界框做非最大抑制篩選出最好的邊界框，從而得到最好的效果。模型的整體流程如圖1所示。

圖1 YOLOv3流程圖Fig.1 YOLOv3 flow chart

1.2 MobileNetV2網絡

隨著卷積神經網絡[13]的發展，網絡的寬度和深度逐漸加大，結構越來越復雜[14]，導致其無法部署在輕量化的移動端。所以輕量化的研究日益重要，而輕量化技術主要從兩個方面開展，一個方面是將訓練好的網絡進行壓縮，進而得到數據量相對小的網絡模型，另一種方法是設計小型的網絡模型進行訓練?，F階段最具代表性的輕量化網絡為MobileNetV2網絡。

MobileNetV2網絡繼承了V1網絡的優點，但是在其基礎上引入了倒殘差結構和線性瓶頸結構。與傳統的殘差結構不同，倒殘差結構是將網絡的維度先升高再降低。網絡中通過引入1×1卷積來提升網絡的通道數，然后在此基礎上利用深度卷積替換標準卷積。深度卷積在網絡迭代過程中，將特征圖的維度分為不同的深度通道進行卷積，最后再合并為一張完整的特征圖，這樣的操作能夠大幅降低計算量。而線性瓶頸結構的設計思路是利用1×1的逐點卷積將網絡的維度降低，進而同輸入相加。去除最后一層的激活函數ReLU，用線性激活函數來替代，使用這種方法能夠改進信息損失嚴重的問題。網絡中的擴張系數是為了控制網絡結構的大小。網絡的瓶頸結構如圖2所示，其中，（a）為步長為1時的結構圖，（b）為步長為2時的結構圖。

圖2 MobileNetV2瓶頸圖Fig.2 MobileNetV2 bottleneck diagram

2 基于輕量化高效通道協同注意力模塊和目標旋轉不變性檢測模塊的實時檢測網絡

針對彈上部署環境要求網絡足夠輕量化，高精確率以及快速檢測的問題。文中使用YOLOv3算法為檢測算法，保證其檢測速度滿足要求。將算法的主干網絡替換為MobileNetV2網絡，保證算法主體結構的輕量化要求。在算法中加入輕量化高效通道協同注意力模塊和目標旋轉不變性檢測模塊，在保證網絡計算量的基礎上提升檢測精確率，使目標檢測網絡達到彈上部署的要求。

本章介紹網絡整體框架與流程，并且給出輕量化高效通道協同注意力模塊和目標旋轉不變性檢測模塊的詳細設計方法。

2.1 算法框架

PAC-3檢測算法框架如圖3所示。首先，將反導陣地的圖片輸入網絡中，圖片進入主干網絡進行主要特征提取工作。圖片經過MobileNetV2主干網絡提取出相應的特征圖，經過特征圖生成對應的金字塔選擇特征圖，在候選框和特征圖的基礎上，連接旋轉不變性模塊。通過旋轉不變形模塊將遙感圖像的方向信息與空間信息進行編碼，生成相對應的適應于旋轉對象的候選框，最后經過全連接層生成相應的回歸圖片，得到檢測結果。

圖3 PAC-3檢測算法框架Fig.3 PAC-3 detection algorithm framework

檢測流程中的主干網絡應用MobileNetV2網絡結構，如圖4。在此基礎上進行改進，加入輕量化的高效通道注意力模塊。將這一模塊嵌入第3、5、6、7層，提升網絡性能的同時保證特征圖尺寸不變。首先，輸入檢測圖像，經過9層卷積操作，提取目標特征圖，在這一過程中，引入注意力模塊，在提取的過程中，使網絡更加關注目標的特征信息。

圖4 主干網絡結構Fig.4 Backbone network structure

2.2 目標旋轉不變性檢測模塊

由于遙感圖像目標的分布方向通常是任意的，因此，算法需要大量的旋轉增強數據[15]來訓練網絡，這就產生了更多的參數來編碼方向信息，這往往是高度冗余和低效的，導致網絡復雜性以及計算量增加。本文設計了一種目標旋轉不變性檢測模塊，在提取到的特征圖上對旋轉目標進行編碼，生成能夠自適應旋轉目標的候選框，得到更加準確的檢測結果。

目標旋轉不變性檢測模塊如圖5所示，它包含兩步，分別是空間維度的對齊和方向維度的對齊。先在網絡中提取旋轉等變特征，知道目標在旋轉過程中哪一部分是隨著旋轉變化一起變化的特征。之后在此基礎上，設計一種對齊算法，從已經提取出來的旋轉等變特征中提取旋轉過程中不變的特征，將其與變化的空間和方向維度對齊，產生一種旋轉不變的特征。將這種提取到的特征加入到候選框的方向編碼中，可以準確地預測方向，從而大大地減小模型的尺寸。

圖5 目標旋轉不變性檢測模塊Fig.5 Target rotation invariance detection module

在第一步中，利用等價性轉換的性質，在空間維度上首先進行對齊，將旋轉目標對齊至模板目標狀態，等價性對齊公式如式（1）：

其中，?為卷積運算；f：Z2→RK為K維特征映射；Tt表示旋轉過程中的組動作；φ：Z2→RK表示卷積濾波器。

為了保證不同方向的一致性，在方向維度上進行方向對齊。具體來說，對于輸出區域特征，方向對齊表達式為：

其中，SC和Int分別表示開關通道和特征插值運算。fR是特征區域，r是計算出的索引，在循環切換方向通道的過程中，確保方向通道始終與第一個方向通道對齊。

2.3 輕量化高效通道協同注意力模塊

在注意力機制的研究以及應用方面，主要存在兩個問題。第一個是通道注意力[16]不能準確定位出位置信息，而設計并行的通道和空間雙注意力機制[17]又會增加計算量。第二個是注意力機制常被應用于大型模型，其計算量大，不適合用于移動網絡[18]。為了使網絡在能夠應用于移動網絡的基礎上增加檢測精確率，本文設計了一種輕量化高效通道檢測模塊，將其嵌入主干網絡當中。

本文提出的通道協同注意力模塊如圖6所示。設計模塊的總體思路是將一個卷積拆分為兩個方向的一維卷積，在水平方向和垂直方向分別進行卷積，這樣不僅僅能夠捕獲通道方向的信息，更能夠敏感地注意到位置信息和方向信息。其次，它用兩個一維的卷積塊，能夠在兩個方向上大量的節省計算量，實現其輕量化的優點，進而能夠部署到任意的大型網絡中而不增加計算量和算法復雜度。

圖6 輕量化高效通道協同注意力模塊Fig.6 Lightweight and efficient channel collaborative attention module

文中設計的注意力機制分為兩個步驟，第一步是坐標信息嵌入通道傳遞過程中，第二步是生成含有坐標信息的特征圖。首先，給定輸入X，使用池化層沿著水平方向和垂直方向對每個通道進行編碼，池化范圍分別為(H,1)和(1,W)，其中，高度h處的第c個通道的輸出可以表示為：

同理可得，第c個通道在寬度為w時的輸出為：

通過第一步的操作可以捕捉到沿著一個空間方向的長期依賴關系，并且保存沿著另一個空間方向的精確位置信息，使網絡更準確的定位其中感興趣的目標。在第二步中，首先將提取到的信息進行拼接，然后利用一個1×1的卷積變換函數F1進行信息轉換，進而得到：

其中，[zh,zw]表示沿空間維度的信息拼接融合，δ為非線性激活函數，f∈RC r×(H+W)是對水平方向和垂直方向的空間信息進行編碼的中間特征圖，r為縮減率。將中間特征圖沿著空間維度分解為2個單獨的張量，再利用兩個卷積變換為具有相同通道數的張量，得到：

其中，σ為sigmoid激活函數。最后，將上式輸出結果進行擴展，分別作為注意力權重分配值，最終的輸出為：

3 實驗與結果分析

本實驗的操作系統為Ubuntu18.04，GPU為NVIDIA GeForce RTX3090Ti（顯存24GB），深度學習框架采用的是Pytorch，算法驗證環境為Pycharm+Anaconda。

3.1 數據集分析及聚類

本文數據集來源為開源的Google Earth。截取不同高度、不同方位、不同時間、不同地點的1539張圖片，經過篩選，去除189張低質量、目標不明確的圖片，剩余1350張圖片，共包含目標5783個，平均每張圖片包含目標4.3個。數據集按照YOLO標簽格式制作，利用“Labelimg”打標簽開源軟件對其進行標注。本文算法將840張圖片作為訓練集，210張圖片作為驗證集，300張圖片作為測試集。數據集部分樣本如圖7所示。

圖7 數據集部分樣本Fig.7 Partial sample of data set

數據集標簽的分布如圖8所示，從圖中可以看到數據集中PAC-3的尺寸大小不一，標簽框的大小分布不均衡，小目標占據了大部分，相對大的目標占據了小部分，這給檢測難度造成了增加，需要在本文數據集的基礎上重新聚類出適合本文的先驗框。

圖8 標簽分布Fig.8 Label distribution

原網絡的先驗框包含80個種類，其形態、物體大小分布相對均勻。原網絡的先驗框不適合本數據集進行訓練，因而需要重新聚類出適合訓練需要的先驗框數量以及尺寸。

K-means聚類算法是發現數據集中的K個中心點，并且以樣本間相似性進行聚類的算法。使用距離度量公式對兩點間的距離進行計算，而常用的距離公式有切比雪夫距離公式，歐氏距離公式，曼哈頓距離公式。文中使用K-means算法計算預測框與真實框之間的交并比IOU。

由于使用歐式距離會使得大的目標比小的目標產生更多的錯誤，本文使用新的距離公式為：

對已經標注好的標簽數據集進行聚類分析，聚類出最適合本文數據集的先驗框數量以及尺寸大小。經過多次試驗分析，得到的結果如圖9所示。

圖9 K-means聚類結果Fig.9 K-means clustering results

由圖9可知，當K>9時，平均交并比上升緩慢，幾乎停滯不前，9為優化過程中出現的拐點，因而選取先驗框數量為9。經過聚類結果可知，九種尺寸的先驗框大小分別為（12，18）、（27，32）、（54，48）、（35，79）、（58，119）、（93，83）、（146，133）、（135，242）、（78，191）。以聚類得到的結果為本數據集的先驗框，將其應用于訓練過程中，優化網絡性能指標。

3.2 實驗設置及評估標準

在PAC-3數據集的基礎上，對YOLOv3網絡訓練，之后將主干網絡更換為MobileNetV2，加入最新聚類先驗框尺寸以及注意力模塊和旋轉不變性模塊后，分別對不同網絡進行對比實驗，以驗證本文提出的算法對檢測性能提升的效果。訓練階段統一采用的參數為：初始學習率為0.01，權重衰減系數為0.000 5，迭代次數為300次，動量因子為0.94，每一個batch包含16張圖片，參數優化方法采用梯度下降法。

文中采用的評價標準分別為每秒處理圖像的幀數即檢測速率（Frame Per Second，FPS）、精確率（Precision）、召回率（Recall）以及平均檢測精度（AP）。平均檢測精度的定義為：

式中，P表示精確率，R表示召回率，定義如式（11）和式（12）所示：

其中，TP代表的是預測為正的樣本，FN代表預測為負的樣本，FP代表預測為正的樣本。

3.3 實驗結果

在PAC-3遙感數據集中，驗證本文提出算法的檢測性能，設計消融實驗來驗證不同改進策略的檢測結果。通過表1的結果顯示，經過三種改進策略后的結果相比于原網絡有了很大的提升。而在加入聚類得到的新先驗框以及輕量化高效通道協同注意力模塊和目標旋轉不變性檢測模塊后的結果相比于其他三種單獨的改進策略的各項性能指標，有了極大的提升，其中，精確率提升6.7個百分點，召回率提升3.9個百分點，平均檢測精度提升4.4個百分點。此外，就三種改進策略的結果分析可知，網絡僅僅重新聚類，改進其先驗框的方法對檢測性能提升的幫助相對有限。而在加入目標旋轉不變性檢測模塊后，檢測精確率提升較為明顯，主要原因是網絡能夠準確提取旋轉特征，在檢測的過程中生成自適應的旋轉候選框，更加準確地定位圖中的目標。在加入輕量化高效通道協同注意力模塊后，檢測性能有了更大的提升，是因為通過水平和垂直方向的編碼再融合后，在準確找到目標所在位置的同時豐富了目標特征圖的語義。在檢測速度方面，各策略均體現了良好的檢測速度，都能達到每秒30張以上的處理效果。相對而言，本文算法在速度上有所降低，是由于增加了輕量化高效通道協同注意力模塊和目標旋轉不變性檢測模塊，導致速度有所損失。綜合考慮，本文算法在保證檢測速度的基礎上，精確率、召回率以及平均檢測精度都有了極大的提升，能夠實現導彈智能突防的要求。

表1 實驗結果Table 1 Experimental result

圖10 為AP曲線變化過程圖，圖中不同顏色代表不同改進策略在300次迭代過程中的上升曲線?？梢钥闯?，基礎算法的各項性能都處于圖中最下方，紫色線條代表的本文算法在迭代過程中處于圖中最上方，證明了本文算法對PAC-3目標的檢測性能更好。

圖10 AP曲線Fig.10 AP curve

為進一步檢驗本文算法在輕量化網絡方面的優勢，將所提出的網絡結構進行網絡大小的對比，結果如表2所示。其中，網絡大小的單位為MB，表示存儲一個CNN模型所占用的空間。從中可以看到，在增加了輕量化高效通道協同注意力模塊和目標旋轉不變性檢測模塊的情況下，既能夠提高平均檢測精度，保證較快的檢測速度，同時也能夠保證網絡大小變化較小，使網絡保持輕量化，具備移動端部署的條件。

表2 網絡大小對比Table 2 Network size comparison

圖11 為PAC-3部分數據集的檢測結果。結果顯示，本文算法對于多目標，小尺寸狀態下的遙感圖像檢測效果很好。

圖11 檢測結果展示Fig.11 Test result display

4 結束語

在彈載環境下，需要目標檢測算法同時具備輕量化，快速檢測以及高精確率的要求。為此，本文選擇YOLOv3算法保證檢測速度，將主干網絡替換為MobileNetV2保證網絡的輕量化。通過添加輕量化高效通道協同注意力模塊和目標旋轉不變性檢測模塊，在計算量和參數整體不變的情況下提升網絡的檢測精確率。模型大小僅為17.5 MB，精度能夠達到97.8%，檢測速度達到每秒34.19張圖。實驗結果表明，本文算法模型可以在資源受限的彈上嵌入式部署，能夠快速準確地檢測出敵方防空反導陣地，使導彈智能突防具備可行性。