基于多維度信息交互的遙感圖像目標檢測算法

卜薈力，方賢進，2，楊高明

(1.安徽理工大學計算機科學與工程學院，安徽淮南232001；2.合肥綜合性國家科學中心人工智能研究院，安徽合肥230088)

隨著衛星遙感技術的不斷發展，高分辨率遙感影像的信息量急劇增加，其中包含的詳細信息也越來越豐富。一些敏感目標，如船舶、坦克、飛機、港口等，肉眼也能清晰可見，其檢測的方法已成為學者們關注的熱點[1]。而目標檢測是計算機視覺領域最基本的問題之一。檢測的任務是準確有效地從圖像中識別和定位預定義類別對象實例。經過多年的深度學習發展，可以在普通圖像中高精度地識別物體，幾乎可以滿足各種應用。

傳統目標檢測算法簡單、快速、易于實現，但對目標狀態和目標大小要求較高，在復雜背景下性能表現較差。而近些年來，基于深度學習的檢測發展迅速，許多基于CNN(卷積神經網絡)的目標檢測算法已經被提出并應用于遙感圖像中的目標檢測。目前，目標檢測算法可以分為兩種主要類型：兩階段算法和一階段算法。兩階段方法是基于候選區域的深度卷積神經網絡。它首先生成包含檢測目標的可能候選區域，然后對候選區域進行分類和回歸，最終得到檢測框，實現目標檢測。比較常見的算法有R-CNN、Fast R-CNN和Faster R-CNN[2]等。這些方法檢測精度高，但速度較慢。一階段方法是基于回歸計算的深度卷積網絡的目標檢測，它使用端到端的目標檢測方法，直接回歸目標的類別和定位信息。常見算法有SSD[3]、YOLO系列[4-6]等。這些方法檢測速度較快，可以滿足實時性要求。

以YOLOv5s為網絡框架為基準，提出了一種改進YOLOv5s的網絡模型MPSA-YOLOv5，該方法通過在主干網絡中加入設計的高效多維度信息交互極化自注意力(Multi-dimensional information interaction Polarized Self-Attention，MPSA)模塊，改進特征增強結構等方式增強網絡的特征提取能力，提高遙感圖像的檢測精度。

1 YOLOv5目標檢測算法

YOLOv5于2020年6月由ultralytics LLC公司推出，目前只有官方代碼，還在不斷更新當中。它是一個單級檢測器和基于區域的目標檢測網絡。YOLO算法將目標檢測定義為回歸任務，從而提高了處理速度。YOLOv5在借鑒了上一版本以及其他網絡的優勢后，改變了之前YOLO目標檢測算法檢測速度較快但準確率不高的缺點，提高了檢測精度和實時性。其一共有四種網絡模型，針對不同的網絡模型，提供了不同的網絡深度和寬度，分別為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x，模型復雜程度依次遞增，其中YOLOv5s可以在移動端使用，不僅滿足了實時圖像檢測的需求，而且結構更小，效果非常驚人。因此使用YOLOv5s作為檢測模型。其網絡模型分為4部分，分別是Input、Backbone、Neck和Prediction，其網絡結構如圖1所示。

圖1 YOLOv5s網絡結構

輸入端包括馬賽克數據增強(MDE)、自適應錨框尺寸計算(AAFSC)和自適應圖像縮放用于數據處理。YOLOv5s采用和YOLOv4相同的馬賽克數據增強方式，通過隨機裁剪、隨機縮放和隨機排布將四張圖片拼接，豐富了檢測數據集，尤其增加了小目標，提高了網絡的魯棒性，同時也降低了GPU的計算量，增加了網絡的通用性。自適應錨框計算為不同的數據集通過聚類算法設置初始錨框，網絡在初始錨框的基礎上進行預測，然后與真實框進行比較計算損失值，通過反向傳播不斷迭代更新網絡參數。錨框參數為[116，90，156，198，373，326]，[30，61，62，45，59，119]，[10，13，16，30，33，23]。自適應圖像縮放是對于不同尺寸的圖像統一縮放到固定大小，在數據預處理階段已經實現。

Backbone包括Focus和C3模塊。Focus模塊將輸入圖像切分為4份，然后在channel維度進行拼接。最后再經過卷積操作得到最終的特征圖，C3模塊具體結構如圖1中所示。

Neck采用FPN(特征金字塔網絡)和PANet(金字塔結構與路徑聚合網絡)結構。FPN通過從上到下的上采樣傳遞和融合高級特征信息，以傳達強烈的語義特征信息。PAN是一個自下而上的特征金字塔，用于傳達強大的定位特征信息。將兩者同時使用，增強網絡特征融合能力。

預測部分包括邊界框損失函數和NMS(非最大抑制)。YOLOv5s-6.0使用CIoU損失函數作為邊界框的損失函數，有效解決了邊界框不重合的問題，提高了預測框回歸的速度和準確率。

為了增強識別多個目標和被遮擋目標的能力，在得到所有的目標檢測框后，YOLOv5s使用加權NMS進行過濾，得到最優的目標檢測框。

2 改進的YOLOv5目標檢測算法

2.1 MPSA模塊

Polarized Self-Attention(PSA)[7]是一種結合空間與通道兩個維度更精細的雙重注意力建模結構，提出一種極化濾波的機制，在對空間或通道維度進行壓縮時，讓其正交方向的維度依然保持高分辨率，并通過Softmax對被壓縮特征矩陣進行信息增強。但PSA的通道與空間注意力是分離的，并未考慮計算注意力權重時捕獲跨維度依賴的重要性，這會導致部分細節信息的丟失。因此本文從維度交互的角度出發，提出一種多維度信息交互極化自注意力(Multi-dimensional information interaction Polarized Self-Attention，MPSA)模塊，對PSA增加了一個旋轉自注意力模塊，具體做法如圖2中間部分所示。首先輸入特征先經過一個旋轉操作，變為H×C×W維度特征，接著使用1×1卷積將輸入轉換為q和v，其中q的H維度被完全壓縮，而v的H維度縮減為一半。對q執行Softmax進行信息增強，對v執行Reshape操作變為H/2×CW的權重，將q和v進行矩陣乘法并依次接上1×1卷積、LN和Sigmoid函數。最后再通過旋轉操作變為C×H×W維度矩陣。將所得結果與PSA輸出進行相加。通過對原始特征圖進行維度置換操作得到新特征圖，并使用較小的計算開銷對新生成的特征圖進行編碼，將不同維度間的相互依賴連接起來，有效避免了細節信息的大量丟失。將MPSA模塊嵌入到YOLOv5s中，具體嵌入位置參照2.3節，改進后的模型命名為MPSA-YOLOv5。

圖2 MPSA模塊

2.2 改進的特征增強網絡

空間金字塔池化(Spatial Pyramid Pooling，SPP)[8]是由HE等人提出，其最初的目的是為了解決圖像尺度統一的問題，避免輸入圖像因裁剪或縮放導致信息丟失。其主要做法是接收任意尺寸的特征圖，通過不同尺度的池化操作，得到固定大小的特征向量。在目標檢測任務中常使用的SPP結構主要由三個不同尺度的最大池化層和一個跳躍連接構成四個并行的分支，池化核大小分別為5×5，9×9，13×13，但最大池化(MaxPool)只能選擇局部最大的單一值，在進行特征映射時可能會丟失關鍵信息，而SoftPool[9]對感受野內的所有像素以加權求和的方式映射到網絡的下一層中，相比MaxPool能更好的保留特征圖中的細粒度特征，因此選擇其代替MaxPool，公式如式(1)所示。

(1)

其中aj為感受野內像素激活值，R為激活區域。

同時為了提取不同尺寸目標的空間特征信息，提升模型對于空間布局和物體變形的魯棒性，將原SPPF中串行連接的三個池化層調整為四個，為了節約計算資源，將原SPPF中的池化層的池化核大小由5×5調整為3×3，具體結構如圖3所示。

圖3 改進后的SPPF模塊

2.3 MPSA-YOLOv5主干網絡

YOLOv5s算法具有體積小、檢測效果好等特點，尤其是加強了對小物體的識別能力。因此選擇其作為基準網絡。但是結合目前的研究進展和實際應用情況來看，YOLOv5s仍具有進一步的改進空間，改進后的MPSA-YOLOv5主干網絡整體結構如表1所示。

其中From列數字表示對應層的輸出作為當前層的輸入，而負數表示以當前層為基準，取前x層的輸出作為當前層的輸入，例如-1，-2表示取前1，2層的輸出。Module列對應當前層模塊名稱。Params列為當前模塊具體參數量。Arguments列參數包括當前層模塊的輸入通道數、輸出通道數、卷積核大小以及步長等信息。

表1 MPSA-YOLOv5主干網絡結構

3 實驗結果與分析

3.1 實驗環境

實驗基于Ubuntu20.04操作系統，使用PyTorch深度學習框架搭建模型，具體實驗配置如下：CPU型號為Intel(R) Xeon(R) Gold 6142 CPU@2.60GHz，GPU型號為NVIDIA GeForce RTX 3060，內存為16G，顯存為12G，并使用cuda11.1和cudnn8.1.1進行加速計算。

3.2 數據集

NWPUVHR-10數據集[10-12]包含800個高分辨率的衛星圖像，這些圖像是從Google Earth和Vaihingen數據集裁剪而來的，數據集分成10類(飛機，輪船，儲罐，棒球場，網球場，籃球場，地面跑道，港口，橋梁和車輛)。其中正樣本圖像(至少包含一個目標)共計650張，負樣本圖像(背景圖片)共計150張，標簽由專家手動進行標注得到。由于采用監督學習，因此只選用正樣本數據集進行實驗。在實驗之前，按照6∶2∶2的比例將正樣本數據集劃分為訓練集、驗證集和測試集。最終得到390張訓練圖像，130張驗證圖像，130張測試圖像。其中部分數據集示例如圖4所示。

圖4 數據集示例

3.3 評價指標

在目標檢測的領域，召回率、精確率和平均精度均值(Mean Average Precision, mAP)通常用于評估目標檢測算法的性能。其中召回率描述在所有正例的樣本中有多少被預測對的比例。精確率描述預測為正例的樣本中真實正樣本的比例[13]。計算公式如式(2)和式(3)所示。

(2)

(3)

其中R為召回率，P為精確率，TP為算法預測正確的正樣本個數，FN為算法預測錯誤且判斷為負樣本的個數，FP為算法預測錯誤但是判斷為正樣本的個數。

平均精度均值(Mean Average Precision, mAP)指的是數據集中每個類別平均檢測精度(AP)的均值，具體公式如式(4)和式(5)所示。

(4)

(5)

其中公式(4)中AP值為PR曲線所圍成的面積，公式(5)中的n表示總類別數。依據預測框和真實框的交并比(IoU)判斷是否檢測到物體，并在評估時統一將IoU閾值選定為0.5。具體公式如式(6)所示。

(6)

其中M表示預測框，N表示真實框。

3.4 實驗結果及分析

實驗使用原始YOLOv5s和MPSA-YOLOv5在相同數據集上進行對比分析，在實驗中，將輸入圖片大小設置為640×640，使用SGD優化器優化網絡，動量為0.937，權重衰減系數為0.0005。初始學習率設置為0.01，為避免學習率過高導致模型訓練時不穩定，使用余弦退火算法[14]來對學習率進行更新，最終學習率為0.001。Batch Size設置為16，訓練epoch數設置為220。

圖5和圖6為MPSA-YOLOv5算法在訓練過程中性能指標的變化情況，圖5為訓練集和驗證集上損失值的變化情況，圖6為性能評估指標值的變化情況。從圖5中可以看到，經過220個epoch的訓練，模型逐漸趨于穩定。

圖5 loss變化曲線

圖6 性能指標變化曲線

為了進一步驗證MPSA-YOLOv5的有效性，在設置的相同訓練條件下訓練其他幾種常見的目標檢測算法，最終的實驗分析結果如表2所示。

由表2可知，MPSA-YOLOv5儲油罐、網球場、橋梁三個類別上的平均精度優于其它算法，而在其余7類目標上也均處于較高水平。因此最終的平均精度均值達到91.4%，均優于其他檢測算法，相比YOLOv3、YOLOX-S、YOLOv5s分別提高了2.8%、1.45%、1.7%。

3.5 實驗效果圖

實驗使用原始YOLOv5s和MPSA-YOLOv5算法對測試集進行測試，圖7顯示了部分檢測圖片的對比結果。

圖7 MPSA-YOLOv5與原始YOLOv5s的檢測對比

對于圖7，其中上邊四張為原始YOLOv5s的檢測效果圖，可以明顯看到在橋梁、港口、艦船等目標上均出現了漏檢現象，在車輛目標上還出現了誤檢現象。相比之下，下面四張圖為MPSA-YOLOv5算法的檢測結果，基本解決了對目標的漏檢和誤檢問題，改進后的網絡可以準確給出正確的目標框，提高目標檢測的置信度，大大減少了誤判次數。

4 結論

文章提出了一種改進的深度學習算法MPSA-YOLOv5用于遙感圖像檢測，同時經過最終的實驗結果表明，改進后的模型MPSA-YOLOv5與原始YOLOv5s相比具有更高的檢測精度。綜合來看該算法是一種有效的遙感圖像檢測算法。由于數據集較小、硬件設備等問題，因此檢測效果還存在進一步優化的空間，后續研究將考慮收集制作更復雜環境下的樣本，同時進一步改進網絡，提升模型的泛化性能，使得模型的檢測效果更佳。