深度學習遙感影像近岸艦船識別方法

王昌安，田金文，張強，張英輝

(1.華中科技大學 人工智能與自動化學院，武漢 430074；2. 北京空間飛行器總體設計部，北京 100086)

0 引言

可見光遙感影像中的近岸艦船的檢測在海域安全、軍事偵查等方面具有重要的意義，相比于海洋背景下的艦船定位，近岸艦船的背景環境更加復雜，且船只往往緊密相鄰，尺度變化范圍大，在檢測問題上更為困難；近岸艦船的細粒度識別有助于實現港口的精細化監視、打擊隱藏于民船中的敵方艦船，但不同類別的艦船目標通常形態、顏色區分度不大，要實現準確的細粒度判別具有很高的難度。

現有的近岸艦船檢測和識別方法大致可分為2類：基于先驗知識的傳統方法和基于分布式特征表示的深度學習方法。在傳統檢測方法的典型研究中，李軒等[1]利用海陸二值分割圖，結合直線段提取和船首定位進行艦船檢測，最后基于幾何先驗知識進行目標確認；Li等[2]通過先檢測特征明顯的船頭，然后確定艦船主方向并進行艦船輪廓的提取來實現近岸艦船檢測。近年來，基于深度學習的方法由于優異的特征提取能力得到人們的廣泛關注，其中，Lin等[3]利用全卷積網絡的語義分割框架，將遙感影像分為海洋、陸地、船身和船首尾4類，然后進行艦船區域的提取；Yang等[4]改進了有向目標檢測網絡，提出利用密集連接的旋轉特征金字塔網絡實現了端到端的艦船檢測。綜合上述，已有的方法中常常受限于嚴格的先驗知識以及較弱的特征表達，難以處理復雜背景環境的干擾，且不能實現艦船目標的細粒度識別。因此，針對上述問題，開展相關研究是十分必要的。

本文提出了一種端到端的近岸艦船目標檢測和細粒度識別算法框架。針對短邊較小的艦船目標難以有效檢測的問題，提出了角度致密化的預設框設置策略和旋轉方位敏感型區域插值池化模塊；采用基于注意力機制的區域級特征融合方法，提高了艦船目標細粒度判別能力，通過引入遷移學習方法進一步提升了模型性能。實驗結果表明，所提算法可以有效識別多類近岸艦船目標，對目標方向變化及背景干擾等都具有良好的魯棒性。

1 本文算法框架

本文的算法流程如圖1所示，首先針對艦船類目標角度分布多樣性的特點，使用旋轉候選區域生成網絡(rotation region proposal network，RRPN)[5]提取艦船目標候選區域；然后通過旋轉區域池化模塊分別提取候選區域的局部和全局特征并進行融合；最后進行目標分類、檢測框調整和角度回歸，從而實現檢測框的定位和類別的判別。該算法的網絡框架如圖2所示。

圖1 本文算法流程圖

圖2 本文算法的網絡框架

該網絡采用端到端的訓練方式，第一階段和第二階段的損失函數形式一致，如式(1)～式(4)所示。

(1)

Lcls(p，y)=-lnpy

(2)

Lreg=smoothL1(t-t*)

(3)

(4)

式中：B為mini-batch集合；Lcls為分類交叉熵損失函數；Lreg為坐標偏差損失；p為預測的概率分布；y為對應樣本的真實標簽；t和t*分別對應預測的坐標偏移量和真實坐標偏差。有向檢測框的參數化形式和回歸偏差的定義與文獻[5]保持一致。

下文將分別介紹本文提出的網絡框架所涉及的各個子模塊，包括使用角度致密化來生成候選區域、有利于建模艦船局部特征的方位敏感型區域插值池化模塊、基于注意力機制的特征融合子網絡以及利用預測層的權重映射來實現遷移學習的訓練方法。

1.1 角度致密化的預設框設置

在典型的目標檢測任務中，真實目標往往會存在于圖像中的任意位置，并具有任意大小的尺度，傳統方法主要通過多尺度的滑動窗口來實現目標檢測。基于深度學習的目標檢測方法，引入了預設框來對空間和尺度進行離散化。但由于空間和尺度本質的連續性，離散化容易使小尺度目標匹配不到足夠多的預設框，從而無法召回。在艦船目標的檢測中，也存在著類似的問題，如圖3(a)所示，艦船類目標通常具有較小短邊尺度(16～64)，同樣會由于與預設框的匹配程度較低而難以召回。

為了檢測任意方向的艦船目標，我們在空間上新增加了一個維度的離散化，即角度離散化。但現有的方法[4]往往針對所有尺度的預設框設置相同密度的角度離散化，使得小尺度目標匹配到的預設框數量不足的問題更加嚴重。如圖3(b)所示，對于相同幅度的角度變化，小尺度目標與預設框的交并比(intersection over union，IoU)變化更為敏感。因此為了增加短邊較小的艦船目標匹配到的預設框數量，進而提升小型艦船目標的檢測率，本文創新性地提出角度致密化的預設框設置策略，即將短邊長度最小的6個預設框增加一倍的角度，如圖4(a)所示，其中虛線表示新增加的預設框。經過角度致密化，小尺度艦船匹配到的預設框平均數量大大增加，如圖4(b)所示。

圖3 艦船目標特性分析

圖4 角度致密化及其影響

1.2 方位敏感型區域插值池化模塊

區域池化模塊被廣泛應用在兩階段目標檢測網絡中，用于從各種大小的感興趣區域(region of interest，RoI)中提取固定長度的特征。區域池化模塊RoIPooling最初由He等[6]提出，并應用在金字塔池化中，Mask RCNN[7]中對其進行了改進，提出了RoIAlign，利用坐標插值的方式消除了坐標整數量化帶來的誤差。R-FCN[8]將RoIPooling改進為位置敏感型池化(position sensitive roi pooling，PsRoIPooling)，通過將位置信息編碼到不同的特征通道內，既實現了不同候選區域的計算共享，也有利于候選區域局部特征的建模。LightHead RCNN[9]將位置敏感型池化改進為PsRoIAlign，提升了池化精度。為了適應任意方向目標候選區域的角度多樣性，Ma等[5]提出了RotateRoIPooling，其對應的可插值改進版RotateRoIAlign被應用在文獻[4]中，但都無法有效地建模艦船區域的局部特征。文獻[10]提出方位敏感型平均池化模塊(rotate position sensitive roi average pooling，RotatePsRoIAvgPooling)緩解了這個問題，卻仍存在坐標整數量化帶來的誤差問題，同時由于在格子內進行采樣前，對格子進行了矩形近似，這會在候選區域傾斜角度很大或者短邊尺度較小時帶來誤差。

結合以上研究，本文提出了方位敏感型區域插值池化模塊RotatePsRoIAlign來更精確地建模艦船目標的局部特征。如圖5所示，其中+表示采樣點，箭頭表示采樣順序，該模塊具有以下特點：

1)旋轉不變。每個格子的采樣起始點和采樣方向與區域旋轉方向無關，確保學習過程的一致性。

2)不規則采樣。由于艦船目標長寬比較大，與目前多數池化模塊7像素×7像素的采樣大小不同，本模塊采用10像素×5像素的不規則采樣大小。

3)位置敏感。每個采樣格子在輸入特征圖的不同通道進行采樣，顯式建模目標不同位置的差異。

4)無整數量化。采樣時不對采樣坐標進行整數量化，而是通過雙線性插值得到采樣點特征值。

圖5 方位敏感型插值區域池化模塊

1.3 基于注意力機制的特征融合

對于細粒度類別的艦船檢測和識別問題，除了定位精度以外，艦船區域特征的判別能力對最終性能也有很大影響。為了提升艦船區域特征的細粒度判別能力，本文提出了基于注意力機制的區域級特征融合子網絡，如圖2所示。

該特征融合模塊主要由2個分支組成：主分支采用可以編碼上下文信息的旋轉區域插值池化模塊RotateRoIAlign，提取全局特征；輔助分支采用能夠建模局部信息的方位敏感型旋轉區域插值池化模塊RotatePsRoIAlign，提取局部特征，這兩類特征往往具有很強的互補特性[11]。此外，由于不同細粒度類別的艦船通常只有部分區域具有顯著差別。為了在沒有局部標注信息的情況選出更具判別力的局部特征來進行細粒度的識別，本文首先利用局部特征學習不同區域的重要性權重，然后基于注意力機制[12]對全局特征進行重新加權，從而將2種特征有機地融合在一起。融合后的特征既有豐富的上下文信息，又具有局部的判別信息，能夠更好地完成細粒度識別的任務。為了減少該模塊的計算量，輔助分支的共享卷積層使用了大卷積核的可分離卷積層，卷積核大小分別為7像素×1像素和1像素×7像素。同時該模塊還引入殘差連接，以減輕Sigmoid函數的飽和性帶來的梯度消失問題，從而幫助網絡的學習和優化。

1.4 基于遷移學習的端到端訓練

本文算法使用端到端的訓練方式，根據艦船目標的形狀和尺度分布，將超參數設置如下。

1)預設框尺度設置為64、128、256、512，長寬比設置為3∶1、5∶1、7∶1，旋轉角度改為9個(-35°～125°平均劃分)。

2)第一階段與任一真實目標IoU超過0.5且角度偏差小于15°的預設框設為正樣本；與所有真實目標IoU都小于0.2的預設框設為負樣本。

3)第二階段批量大小設為256，正負樣本比例設為1∶1，正樣本IoU閾值設為0.4，池化大小改為10像素×5像素，全連接層隱藏單元大小為1 024。

4)訓練圖像短邊設為640，初始學習率為0.001，使用動量隨機梯度下降優化算法迭代6 W步，學習率衰減系數為0.1，衰減步數為4 W、5 W、5.5 W、5.8 W步，權重衰減系數為5E-4。

研究[13]表明，相關任務之間的遷移學習可以加速目標任務的學習，并提高目標域的泛化能力，在目標域數據集規模相對較小時，遷移學習可以有效地提升目標任務的性能。本文提出了一種同類任務間的預測層權重遷移方法，可以用遙感影像中其他類別的目標標注信息[14](源域)輔助艦船類目標(目標域)的檢測任務。由于源域和目標域目標的尺度和長寬比分布不一致，因此我們在RRPN階段采用了不同的預設框設置，并使用獨立的預測權重生成候選區域。針對源域和目標域類別數不同的問題，本文在第二階段使用了權重遷移的方法進行參數共享，如圖6所示，首先提取源域的預測層權重，通過可學習的線性映射變換為目標域預測權重，最后在目標域使用映射權重進行艦船檢測和識別。除RRPN預測層權重進行隨機初始化外，網絡其余部分的權重直接從源域遷移到目標域。

圖6 權重遷移預測模塊

2 實驗分析

2.1 數據集

由于沒有標準的數據集進行實驗結果性能評價，本文實驗利用了實驗室自建的影像數據，圖像分辨率為1 m左右，每張圖像長寬比在1 000～3 000之間，對數據集進行隨機數據增強，引入顏色變換、旋轉變換、區域裁切等操作(分辨率保持不變)，最終獲取有效訓練樣本4 926張，大小均為480像素×640像素。

實驗數據集中所有標注船只被分成了包括軍艦、航母、民船等在內的25個類別，表1列出了訓練數據集中的主要一些細分類別及對應的實例數量。圖7展示了各細分類別的典型樣本縮略圖(其中尺度經過了歸一化縮放)，可見各類別樣本間存在較高類間相似性，尺度變化范圍也比較大，這就要求算法需要具備對小尺度目標的精確定位能力，以及足夠強的細粒度類別的判別能力。

表1 訓練數據集的主要類別

圖7 實驗數據集各類別樣本縮略圖(類別編號自左向右，自上往下)

2.2 實驗對比

由于本文主要研究細粒度多類別的艦船檢測與識別問題，因此采用類似自然場景目標檢測[15]中的評測指標對算法性能進行量化。算法運行速度的量化指標為單幅640像素×480像素大小，來測試圖像的處理時間。測試環境為：64位Linux操作系統，GTX1080Ti顯卡，CUDA8.0，CPU型號Intel Xeon E5-2620。首先,將本文網絡框架的第二階段子網絡只保留全局池化分支，并把池化模塊替換為RotateRoIPooling，以此作為基準算法，如表2所示，基準算法的平均精度(mAP)僅為51.8%。為了驗證在池化過程中對采樣點進行插值的必要性，我們將模塊RotateRoIPooling換為對應的插值模塊RotateRoIAlign，模型性能得到了大幅提升(62.0% mAP)，可見區域特征的精確提取對艦船目標的精確定位和準確識別非常重要。

之后，驗證方位敏感型插值區域池化模塊的性能。在將RotateRoIAlign替換為本文提出的RotatePsRoIAlign模塊后，算法的平均精度下降到60.2%，經過分析這主要是單個RoI的特征維度的量級差距懸殊導致的。如表2所示，RotateRoIAlign單個RoI區域的參數量為512×10×5=25 600，而本文的RotatePsRoIAlign單個RoI區域的參數量僅為10×10×5=500，特征參數量相差近2個數量級，使得RotateRoIAlign在性能上占有優勢。為了公平驗證RotatePsRoIAlign模塊的有效性，我們增加了一組實驗。在使用RotateRoIAlign模塊的共享卷積層前增加一個降維卷積，從而使二者每個RoI的參數量保持在同一個數量級，實驗結果參見表2中RotateRoIAlign-Light，此時性能與本文模塊接近一致，從而表明本文提出的RotatePsRoIAlign模塊在特征提取能力上是令人滿意的，而占用的模型參數量是最低的，并且后續實驗將表明，該模塊在對艦船局部信息的建模上更具優勢。

我們以RotatePsRoIAlign模塊的單分支模型為基礎，對本文提出的其他結構進行了逐一的驗證，如表3所示。通過使用角度致密化的預設框設置策略，小尺度艦船可以匹配到更多的預設框，從而模型召回率得到了較大提升，模型整體性能也提升了2% mAP，并且參數量基本保持不變。由于預設框數量的增加，對候選區域進行過濾時需要更多計算量，從而使得算法運行時間增加，運行速度略有下降。

表2 區域池化模塊分析

表3 對比分析

在加入基于注意力機制的區域特征融合后，模型平均精度提升到63.4%，可見RotatePsRoIAlign所提取到的特征與RotateRoIAlign模塊具有一定的互補性，且本文提出的融合方法較大地提升了最終特征的判別能力。但融合模型的運行速度略有下降，同時由于新增加了殘差映射和注意力建模2個全連接層，模型參數量也有增加。值得注意的是，在該模型的基礎上再次加入角度致密化，模型性能提升較小，僅為0.6% mAP，這很可能是由于融合特征判別能力的增加，使得第二階段分類器對候選區域篩選和調整更加高效，在一定程度上掩蓋了角度致密化帶來的候選區域質量的提高。最后，通過在DOTA數據集上對本文提出的網絡框架進行3 W步的預訓練，并將訓練權重遷移到艦船數據集上繼續訓練，可以帶來0.9% mAP的提升。

影響本文算法性能的相關因素，主要包括類別判別困難程度、尺度大小、樣本數量3個方面。本文用尺度大小和樣本數量2個因素對性能的影響進行了分析，如圖8所示。結論如下。

1)對于本文算法無法檢測到的目標，主要是4種情況：樣本數量極少，如類別24；樣本數量較少且類內差異較大，如類別10；與其他某類差異很小，如類別18；與尺度大小沒有必然聯系。

圖8 算法性能的影響因素分析

2)對于本文算法容易檢測的目標，主要是尺度偏大且類別特征明顯，如類別20和類別25。

3)大部分類別的檢測性能與樣本數量和尺度大小基本呈正相關，樣本數量少的類別在訓練時梯度信息容易被多數樣本覆蓋；而尺度較小使得目標本身對定位精度要求很高。

2.3 算法檢測結果的可視化

圖9展示了本文算法的可視化檢測結果。圖9(a)原圖大小為1 379像素×1 199像素，檢測速度為0.582 4 s；圖9(b)原圖大小為2 041像素×1 302像素，檢測速度為0.637 s，可見本文算法能夠較好地處理陸地復雜背景環境的干擾。圖10組圖則從不同角度對算法的性能進行了展示：第1列展示了算法對不同亮度變化影響的魯棒性；第2列展示了算法對不同大小的貨船檢測的穩定性；第3列展示了檢測算法對多種類別艦船的判別能力，以上可視化結果均為正確檢測的結果;第4列集中展示了本文算法的典型檢測錯誤，包括類別判別錯誤(類別5和類別9具有較高的類間相似性)造成的虛警、檢測框不準確(背景區域與艦船區域具有較高的相似性)和部分漏檢(艦船排列過于緊密)。以上結果表明本文算法在近岸艦船檢測和識別上具有良好的魯棒性和較高的檢測率。

圖9 本文算法可視化檢測結果示例1

圖10 本文算法可視化檢測結果示例2

3 結束語

本文研究了基于深度學習的近岸艦船檢測和識別算法，提出了一種端到端的細粒度近岸艦船目標檢測和識別框架。針對小型艦船對預設框角度變化敏感的問題，提出角度致密化的策略，提升了小型艦船的檢測率；針對傳統的區域池化算法帶來的量化誤差問題，采用改進的方位敏感型區域插值池化模塊，可以更精確地建模艦船區域的局部特征；針對細粒度艦船分類的問題，利用基于注意力機制的局部和全局特征相融合的結構，增強了區域特征的類別判別能力；針對樣本稀缺性問題，提出預測層的權重遷移模塊，使用遷移學習進一步提升了模型性能。實驗結果表明，本文算法在細粒度近岸艦船目標數據集上達到了較高的檢測性能和識別精度，但由于近岸艦船目標背景環境復雜、類別多樣、樣本稀缺以及部分區域艦船排列緊密等問題，算法仍存在漏檢或某些類別判別錯誤的情況，如何針對性地改進這些不足是未來的研究重點。