基于SK-YOLOV3的遙感圖像目標檢測方法

郭智超，叢林虎，劉愛東，鄧建球，應新永

(1.海軍航空大學岸防兵學院，山東 煙臺 264001； 2. 91115部隊)

1 引言

目標檢測技術是當前計算機視覺領域的核心技術之一，當前目標檢測技術逐漸發展并趨于成熟，其中隨著遙感技術而發展起來的遙感圖像目標檢測技術具有執行效率高、檢測范圍大的優點，在應用方面存在著重要的價值。在軍事應用領域，實時地掌握敵我雙方軍事目標的位置與類別信息可以讓決策者根據現有信息及時做出軍事部署；在民用領域，實時準確地檢測遙感衛星拍攝的海上、陸上以及空中的目標信息可以更好地對其管理，在搜索救援、海上貿易、交通疏導、打擊犯罪等方面具有重要作用[1]。

在遙感圖像目標檢測領域，基于深度學習的檢測算法相比于傳統檢測算法(如DPM、ViolaJones)更有優勢。它主要分為兩類，一類是基于候選區的檢測算法，最具有代表性的是Girshick于提出的Faster R-CNN算法[2]，該算法首次引入RPN候選區提取模塊，2016微軟研究院的何凱明團隊在其基礎上提出了Mask-RCNN[3]、R-FCN[4]等算法，此類算法精度較高，檢測速率較慢。另一類是基于回歸的目標檢測算法，最具代表性的是YOLO系列檢測算法和SSD系列的檢測算法，其中YOLO最初于2016年由Redmon提出[5]，檢測精度較差，在其基礎上逐漸發展出的YOLOV2[6]、YOLOV3[7]性能逐步取得提升。雖然精度和速度都有所提升，但收斂速度較慢；SSD算法于2016年由Liu[8]提出，在檢測精度和檢測速度方面均表現良好，但對于小目標檢測效果較差且容易出現重復框。馮家明等提出了一種YOLOv3-fass[9]算法，通過對Darknet-53網絡的殘差結構和卷積層的通道數進行刪減使得檢測速度提高近一倍，檢測精度提升效果卻很小。鄭志強通過特征進行復用改進YOLOV3的特征融合方式[10]，雖然提升了對遙感目標檢測的精度，同時也使得參數量變大，增大了計算難度。傳統的contact特征融合方式中采用簡單的方式對不同層的特征信息進行簡單堆疊，無法體現不同特征通道與不同卷積核的相關性和權重，即使性能較優的FSSD和YOLOV3通過FPN對相鄰通道特征進行contact融合，其檢測精度有所提升，但仍有優化的空間[11]。軟注意力機制(如SENet、SKNet、CBAM等)，可通過神經網絡計算出梯度并通過前向傳播與后向反饋的方式得到注意力權重，目前已被應用在眾多算法的優化改造中，對提升目標分辨率有著重要作用。

當前遙感圖像目標檢測中存在的問題是：檢測速率相對較慢，受氣候環境影響因素較大，圖像中的目標容易出現目標較小、模糊、遮擋、陰影，圖像目標分辨率差等現象，容易發生目標漏檢或誤檢[12]，在實際檢測中難免面臨各種不利因素。

針對以上問題，本文提出一種基于SK-YOLOV3的目標檢測方法，將從網絡上搜集的光學衛星圖像制作成數據集進行網絡訓練，以YOLOV3算法為主體，并通過引入SKNet視覺注意力機制對其網絡結構進行改進，同時優化錨框聚類算法，實現對各類遙感目標的精確檢測。

2 YOLOV3目標檢測

2.1 YOLOV3檢測模型

YOLOV3是YOLO和YOLOV2的升級版本，其采用全卷積神經網絡并引入殘差網絡，共包含75個卷積層，以Darknet-53為基礎網絡，Darknet-53由卷積層和殘差網絡組成，每個卷積層包括1×1的卷極塊CB1和3×3的卷極塊CB2，用于提取圖像特征。YOLOV3在Darknet-53的基礎上添加了YOLO層，用于輸出3個不同的尺度，當輸入圖片大小為416×416時，輸出尺度分別為(52,52)(26,26)(13,13)，但其通道數均相同，其網絡結構如圖1所示。

圖1 YOLOV3網絡結構框圖

為了提升對小目標的檢測效果，YOLOV3通過借鑒FPN特征網絡的思想進行多尺度特征融合， 通過添加上采樣層(upsample)和連接層(contact)，融合了3個不同尺度的特征，在多個尺度的融合特征圖上分別獨立做檢測。采樣過程中采用步幅為2的卷積層對特征圖進行卷積，從而減小池化步驟導致的小目標信息丟失。13×13尺度輸出用于檢測大型目標，對應的26×26為中型的，52×52用于檢測小型目標。

2.2 YOLOV3檢測原理

YOlOV3算法把輸入的特征圖劃分為S×S個網格，輸出的3個尺度特征圖中的每個網格都會預測3個邊界框，共聚類出9種尺寸的先驗框。對于一個416×416的輸入圖像，總共有 13×13×3+26×26×3+52×52×3=10647 個預測。每個邊界框輸出特征圖的通道數包括(位置信息、置信度、類別預測)，所以輸出張量的維度為N×N×3×(4+1+M)，1代表置信度，4表示目標位置輸出，M為類別數目。以本文4類待檢測的遙感目標為例，通道數為3×(4+1+1)=18，輸出特征圖尺度分別為(13×13×18)、(26×26×18)、(52×52×18)。

信息分類時在NMS算法中通過logistic回歸對9個先驗框包圍的部分進行一個目標性評分，即置信度，找到置信度最高的先驗框，將其設定為與真實框相對應的最終預測框，置信度超過閾值卻不是最高的先驗框則被忽略。置信度即為先驗框與真實框之間的交并比(IOU)，其計算公式如下：

(1)

以圖2的中間網格為例，虛線框表示先驗框，其寬高分別為pw和ph，(cx,cy)為中間網格相對于圖像左上角偏移量，(tx,ty,tw,th)是網絡為先驗框預測的坐標，其中(σ(tx),σ(ty)) 中間網格的輸出對應于網格的相對中心坐標，實線框表示中間網格輸出的值經過運算后得到的最終預測框，其預測框位置信息為(bxbybwby)，運算公式如下：

圖2 YOLOV3檢測原理框圖

(2)

2.3 YOLOV3損失函數

YOLOV3損失函數主要由位置誤差(中心坐標誤差和寬高誤差)、置信度誤差、分類誤差3部分組成。

Loss=λ1Lconf(o,c)+λ2Lcla(O,C)+λ3Lloc(l,g)

(3)

λ1λ2λ3均為平衡權重系數

位置損失函數Lloc為：

(4)

置信度損失函數Lconf為：

(5)

分類損失函數Lcla為：

(6)

3 引入注意力機制的SK-YOLOV3算法

3.1 SK-YOLOV3所引入的SKNet網絡

SKNet是SENet的升級版本，是Attention注意力機制中視覺注意力機制中的一種。不同大小的卷積核對于不同尺度(遠近、大小)的目標會有不同的效果，盡管比如 Inception 這樣的增加了多個卷積核來適應不同尺度圖像，但是一旦訓練完成后，參數就固定了，這樣多尺度信息就會被全部使用了(每個卷積核的權重相同)。SKNet 提出了一種機制，除了考慮到通道間的關系，還考慮到了卷積核的重要性，即不同的圖像能夠得到具有不同重要性的卷積核，使網絡可以獲取不同感受野的信息[13]。

圖3 SK卷積操作示意圖Fig.3 Schematic diagram of SK convolution operation

SK卷積單元中不僅使用了注意力機制，還使用了多分支卷積、組卷積和空洞卷積。

3.2 引入SKNet的SK-YOLOV3網絡結構

圖4表示了SK-YOLOV3網絡結構。CBRK表示使用了SK卷積模塊的卷積單元，其中M表示要聚合不同卷積核中核的選擇路徑數，G為控制每條路徑基數的組數，r表示用來控制fuse操作中的參數量的reduction ratio。

圖4 SK-YOLOV3網絡結構框圖

YOLOV3網絡中的(shortcutn)殘差模塊表示使用了N個由1×1大小卷積CBR1和3×3大小卷積CBR3組成的子結構。本文在YOLOV3骨干網絡Darknet-53的殘差模塊中將CBR3卷積單元替換為GBRK卷積單元，在每個殘差模塊中進行完1×1卷積后進行SK卷積，通過kernel size不同大小的卷積核卷積后將得到的不同的特征圖進行融合，就可以獲取輸入圖片不同感受野的信息，再通過線性變換完成對不同通道維度信息提取，在給予每個通道不同權重后對其再次融合。SK-shortcutn表示將模塊中CBRK替掉CBR3后，優化網絡結構后組成的新的重復單元，由n個(CBR1+CBRK)組成。

表1 SKNet特征信息表

3.3 錨框聚類方法優化

在檢測中，為了更加精確地對目標定位，使真實框和預測框取得更好的交并比(IOU)，需要預先標定錨點框來對數據進行聚類。傳統的k-means算法中，通過計算所有對象和預先設定的k個聚類中心之間的歐式距離來分配對象并聚類，并得到先驗框的寬和高，k值一般為9。通過歐氏距離作為評價指標會使大尺寸目標比小尺寸目標聚類時產生更大的誤差。

YOLOV3所使用的k-means算法中最終聚類結果通過IOU作為距離度量(即最短距離)進行判定，聚類距離隨著預測框與聚類中心的IOU值得增大而減小。距離公式如下：

(7)

boxi為第i個樣本的預測框，centroidj為第j個聚類中心，d為表示二者之間的距離。

YOLOV3為多尺度特征預測，在輸出的3個不同尺度特征圖上所需先驗框在尺寸上也存在較大差異，傳統的k-means聚類中忽略了特征圖和先驗框的關系，在數據集樣本差異較大時容易造成聚類后產生的先驗框無法與特征圖相匹配的現象，進而影響檢測效果。

為了改善這類問題，本文對k-means聚類算法進行優化，對每個樣本點都給予一個權重wij以區分不同樣本的重要性[14]。經改進后距離公式如下：

(8)

(9)

4 實驗結果與分析

4.1 實驗環境

該實驗軟件環境包括CUDA10.0、cuDNN7.4.1、OpenCV等軟件包，編程語言采用python3.6.3，硬件環境如表2所示。

表2 實驗硬件環境表

4.2 制作數據集

該自建的遙感圖像數據集共有1 250張，大部分從谷歌遙感圖像數據集中挑選而來，并加入了少量網絡上搜索的相關遙感圖像。為了增強訓練效果，其中包含了不同天氣條件不同高度、不同角度、不同清晰度下衛星拍攝的多個樣本。數據集包括有飛機、艦船、汽車、儲油罐四類目標，通過labelimg工具將挑選的圖片加以標注并以VOC格式存儲，通過xml文件記錄目標的類別信息和位置信息，按照4:1的比例劃分為訓練集和測試集。

4.3 評價指標

本網絡結構的性能通過IoU指標、AP指標、mAP指標、FPS指標來進行綜合評價。其中IoU(交并比)用來評價是否能對目標成功定位；AP表示單類目標在不同召回率條件下準確率的均值，其值是Precision-Recall曲線下方的面積；mAP指標(平均精確度)指所有目標平均精度的均值，用于評價算法檢測精度；FPS(每秒內檢測的圖像幀數)用于評價檢測速度。其計算公式分別如下：

(9)

(10)

(11)

TP：預測為正，實際為正；FP：預測為正，實際為負；TN：預測為負，實際為負；FN：預測為負，實際為正。

(12)

(13)

(14)

num(picture)表示處理圖片的總幀數；total(time)表示處理所有圖片所需時間。

4.4 網絡訓練

將SK-YOLOV3與YOLOV3進行對比訓練，為保證公平性，在同樣的數據集上進行150次epoch迭代，前6個epoch采用warm-up的方式進行“熱身”訓練，6到150個epoch學習率設定為0.001，Batch size設定為16，且均采用Pytorch深度學習框架，圖5為YOLOV3和SK-YOLOV3的損失率變換曲線。由圖可知兩模型經過了150次epoch后損失值趨于穩定。

圖5 損失值變化曲線

4.5 實驗效果圖

4.5.1YOLOV3與SK-YOLOV3檢測效果對比

分別通過原版YOLOV3算法和改進的SK-YOLOV3算法對測試集圖片測試，部分結果如圖6所示。

圖6 YOLOV3改進前后效果圖

圖6中，圖6(a)和圖6(b)為YOLOV3對遙感目標的檢測效果圖，圖6(c)和圖6(d)為SK-YOLOV3的檢測效果圖。圖6(a)和圖6(b)中對小目標檢測效果不好，均出現了漏檢現象，且檢測到的目標準確率較低；相比之下，圖6(c)漏檢現象有很大改善，圖6(d)未發生漏檢現象，SK-YOLOV3可以檢測到大量YOLOV3漏檢的目標，提升了對遙感圖像目標的分辨率。

4.5.2SK-YOLOV3在各種復雜環境下檢測效果

在現實情況中，由于各種原因如天氣狀況差、檢測目標較小、拍攝場景光線較差等情況會影響遙感圖像拍攝的質量進而影響檢測效果。為了進一步驗證SK-YOLOV3模型在復雜環境下的表現，選取一些特殊條件下的圖片進行檢測，選取有代表性的如圖7～圖9所示。圖7為陰影場景，圖7中目標經測試，準確率仍處于較高水平，檢測模型受光線影響較小；圖8中為小飛機目標，由檢測效果來看，目標大小模型影響有限；圖10為大霧場景，對檢測有部分影響，一部分小型船只沒有檢測出來。綜上可知，該檢測模型在復雜環境中檢測效果較好，個別處于復雜環境下的物體檢測率不高，但惡劣情況畢竟居于少數，使得對于檢測模型影響有限。

圖7 陰影條件檢測圖

圖8 小型目標檢測圖

圖9 霧天目標檢測圖

4.6 性能對比與結果分析

為了對模型進行直面與客觀的分析，分別將SK-YOLOV3與YOLOV3、SSD等幾種常用目標檢測算法實驗對比，使用相同的訓練數據集和訓練方法進行訓練，并從中抽取100張測試集進行測試，每種模型進行10次測試后取其平均值，最后通過平均精度mAP以及檢測速率FPS進行性能對比，結果如表3所示。

表3 模型性能對照表(%)

從實驗性能對照表可知，在檢測速率方面YOLOV3算法檢測速率最高，可達29.3 FPS，mAP可達80.87%，和其他幾種常用檢測算法相比無論在精度還是速度均具有優勢。SK-YOLOV3算法相對于YOLOV3檢測精度提升了7.46%，雖然在檢測速率上略低于YOLOV3，但也達到了27.7FPS，處于較高水平，對檢測時間影響不大。綜合來看，基于SK-YOLOV3的遙感圖像目標檢測方法可以較好地完成檢測任務。

5 結論

提出了一種基于SK-YOLOV3的遙感目標檢測方法，為了提高檢測效果，彌補傳統特征融合方式的局限性，對YOLOV3的基本框架進行改進。在原YOLOV3網絡基礎上引入SKNet視覺注意力機制，對特征圖在不同感受野下的特征進行融合從而提高分辨率；并對錨框聚合算法進行優化，將傳統k-means錨框聚合方法替代為加權k-means聚合方法以便于加強檢測效果。通過在谷歌地圖上采集到的遙感圖像數據集進行模型訓練，實現了對不同環境下圖像中多種目標的精確檢測。從實驗對比結果分析可知，相比于原版YOLOV3，SK-YOLOV3對于惡劣環境下目標和小型目標的檢測有著更好的效果；相對于其他檢測算法無論是檢測精度還是檢測速率，優勢十分明顯。綜合來看，該方法是一種良好的遙感目標檢測方法。