基于改進SSD的艦船目標精細化檢測方法

梁 杰，李 磊，2，周紅麗

(1.北京機電工程研究所，北京 100074; 2.復雜系統控制與智能協同技術重點實驗室，北京 100074)

0 引言

海面和港口作為交通樞紐以及重要經濟區域，在軍事和民用領域具有重要的地位，而艦船作為海上交通運輸以及裝備的主要載體，對其進行有效的定位和分類在沿海監管和防御等領域具有重要意義[1]。因此，在復雜環境和弱保障條件下，有必要提高對港口、海面艦船等概略、混雜目標選擇性精確識別的能力[2]，要求不僅能夠準確定位艦船位置，給出其朝向信息，還能完成細粒度分類，實現艦船的類型識別和軍民識別。

針對艦船目標的檢測方法，主要可以分為兩類。一類是基于人工特征提取加特征分類器的傳統目標檢測方法，它利用一些手工設計的圖像特征或特征點來表征每一類物體的特點，并將圖像由矩陣信息轉化成對應的特征向量；然后利用訓練好的特征分類器(如支持向量機(Support Vector Machine, SVM))對特征向量進行分類判別，同時通過滑動窗口的方法找到與目標特征最相似的位置從而完成目標定位[3]。例如，文獻[4]提到了一種基于灰度統計特性的艦船檢測方法，該方法以灰度值作為特征，通過人為設定的閾值來區分背景和目標，僅適用于海面較為平靜且水體灰度較低的情況，對海面噪聲較敏感，識別虛景率較高。針對上述不足，文獻[5]提出了一種基于自適應閾值分割的艦船檢測方法，該方法的閾值可由算法根據圖像特征進行調節，但僅在艦船與背景對比度明顯時效果較好。閾值法的特征較為單一，并不能有效地表征目標特點，適用的情況較少。為此，文獻[6]提出了基于鄰域分析的海洋遙感圖像艦船檢測方法；文獻[7]提出了基于結構紋理分解的海面艦船檢測方法，但算法檢測效率低，當圖像受到云霧干擾且背景復雜時，檢測誤差較大。綜上，傳統艦船目標檢測方法的特征提取方式對人員經驗的依賴性較強，僅能完成良好氣象條件下場景內目標簡單類型的判定，難以實現多類型的細粒度識別，無法快速生成情報以滿足使用要求。

隨著機器學習的不斷發展以及硬件水平的不斷提高，另一類基于深度學習的目標檢測方法被廣泛的研究和應用。深度學習通過逐層卷積的方式可提取到高層且抽象的語義特征信息，可挖掘隱藏在目標內部的特性，具有更好的目標表征能力。其按照檢測的步驟可分為兩大類：1)雙步(Two-stage)檢測算法，該類方法將目標檢測問題劃分為2個階段，首先使用選擇性搜索算法或者區域提取網絡(Region Proposal Network，RPN)方法等提取出一系列候選區域，之后對每個區域重采像素或特征，并在此基礎上進行目標分類和矩形框位置調整，典型代表為：Faster R-CNN[8]；2)單步(One-stage)檢測算法，該類算法不需要區域候選，由原始圖像直接產生物體的類別概率和回歸位置坐標值，典型代表為：YOLO[9]和SSD[10]。早期的One-stage算法經驗證雖然速度較快，但精度較差，因而近幾年該類算法采用多種優化策略來提高精度。例如YOLOv3[11]算法通過引入特征金字塔網絡[12](Feature Pyramid Networks，FPN)實現了多尺度預測；RetinaNet[13]算法通過引入焦點損失(Focal loss)來優化損失函數；CornerNet[14]算法借鑒了關鍵點檢測的思想來回歸預測框角點。這些改進算法在精度上基本可以和Two-stage算法媲美。總之，兩類算法各有所長，需根據實際應用的需求進行選取。例如，文獻[15]提出了基于改進Faster R-CNN的艦船檢測算法，其在RPN中引入K均值(K-Means)聚類來設置錨框(anchor)的尺寸，可提高艦船的定位精度；文獻[16]采用標記分水嶺分割算法對深度卷積神經網絡(Deep Convolution Neural Network，DCNN)進行改進，可大大縮短對候選區域的檢測時間，快速準確地識別紅外艦船目標；文獻[17]提出了一種基于改進RetinaNet的目標檢測方法，融合MobileNet[18]架構進行網絡加速，可提高檢測速率。綜上，深度學習的出現給以艦船為代表的時敏目標精確檢測創造了技術條件。

雖然深度學習在目標檢測方面較傳統方法具有較好的性能表現，但仍有需要改進的地方。具體來說，艦船等時敏目標的長寬尺寸差別較大，且事先無法獲知目標的位置和姿態信息；同時飛行器往往以傾斜視角捕獲目標影像，在該視角下艦船的排列較為密集。因此，直接利用深度學習檢測算法得到的矩形框結果會包含大量的背景冗余信息和重疊區域，無法滿足對目標的精確定位和細粒度分類需求。為了解決艦船目標排列緊湊且方向不一時的識別錯位問題，考慮工程應用中的實時性要求，本文選擇在單步檢測模型(Single Shot MultiBox Detector, SSD)的基礎上，引入可變形卷積[19]、可變形池化模塊、旋轉矩形框機制和旋轉的非極大值抑制模塊，并借鑒MobileNet架構對網絡加速，最終得到一種具有旋轉不變性的艦船目標精細化檢測方法。該方法具備對艦船目標的幾何姿態信息較強的學習能力，可以有效預測目標的旋轉角度并以旋轉矩形框給出目標的位置，從而實現了多類軍民艦船目標類型區分和朝向判定的功能，并利用自建數據庫驗證了所提算法在檢測艦船目標時的準確性與實時性。

1 SSD通用目標檢測模型

SSD是一種典型的深度學習單步檢測類算法，其沿用直接回歸的思想，預先按照一定方式劃定默認框，通過建立預測框、默認框和標注框的關系來指導訓練并進行檢測。同時，SSD利用難例挖掘策略來平衡正負樣本，增加多層特征圖預測模塊來提高小目標的識別精度，去掉錨框內重采樣來提高速度，因而在整體性能上位居深度學習檢測類算法的前列，具有可實時和準確度高這2個優點。

基于SSD進行目標檢測，常用方法是由ImageNet數據集預訓練得到初始模型，利用自建數據集對模型進行若干次微調，進而達到良好的檢測效果[20]。例如民用領域中行人檢測、車輛檢測和文字檢測等常見任務，只需更改分類網絡部分的類別輸出就能得到較好的效果。但對于艦船目標檢測而言，要求對目標進行高精度定位和細粒度分類，只采用上述微調的方式得到的結果無法滿足精細化識別需求，需要對SSD算法在網絡結構上進行重新設計和優化。

SSD算法主要由兩大部分組成：1)基礎特征提取網絡(backbone)；2)特征檢測器(task head)。本文在此框架的基礎上，針對基礎網絡、anchor機制、損失函數等重點組成部分進行優化改進，提出了基于改進SSD的艦船目標精細化檢測算法。

2 基于改進SSD的艦船目標精細化檢測算法

算法以VGG19模型作為基準網絡，利用 MobileNet的思想對其進行加速，并引入可變形卷積和可變形池化，構造出新的卷積神經網絡進行特征提取。同時，將旋轉矩形框應用到目標檢測器中，得到具有旋轉不變性的艦船目標檢測器，該檢測器不僅可以輸出目標的位置和大小信息，還能輸出目標的角度信息。最后，本文設計了一種針對旋轉矩形框的IoU計算方法來進行非極大抑制(Non-Maximum Suppression，NMS)篩選[21]，并在原始SSD算法的損失函數上進行拓寬，加入了角度回歸的損失來指導訓練。

2.1 網絡加速

考慮到backbone在引入可變形卷積和可變形池化后，會增加特征提取時的運算量、處理時間以及權重模型的參數，本文借鑒MobileNet的思想對 VGG19模型進行加速和壓縮。MobileNet使用的是深度可分離卷積，其核心思想是把標準卷積操作分解成深度卷積(DConv)和逐點卷積(PConv)操作，DConv起到濾波作用，PConv起到通道轉換作用，這樣可減少卷積核的冗余表達，從而大幅降低網絡參數量和計算量。

(1)

因此，本文將 VGG19中標準 3×3 卷積操作分為 3×3的DConv模塊和 1×1 的PConv模塊，每個卷積后仍連接歸一化(Batch Normalization，BN)層和 ReLU激活函數來構建網絡，整個架構如圖 1 所示。

2.2 可變形卷積與池化原理

傳統的卷積操作使用的是方塊核，卷積窗口形狀是固定的，本文算法引入了可變形卷積和可變形池化模塊來增強基礎網絡對幾何變換的建模能力，提高了輸出特征對目標旋轉變換的敏感性。2個模塊的基本思想都是用帶偏移的采樣來代替原來的固定位置采樣，增加的偏移量可以通過梯度反向傳播進行端到端的學習。如圖2和圖3所示，可變形卷積核的大小和位置可以根據識別目標進行動態調整，不同位置的卷積核采樣點會根據目標內容發生自適應的變化，從而適應艦船目標的幾何形變。

圖1 可分離卷積結構圖Fig.1 Separable convolution structure

(a)傳統的3×3方塊卷積核 (b)加入偏移量后的卷積核1

(c)加入偏移量后的卷積核2 (d)加入偏移量后的卷積核3圖2 方塊卷積核與可變形卷積核Fig.2 Block convolution kernel and deformable convolution kernel

圖3 方塊卷積與可變形卷積實例對比(左圖為傳統方塊卷積，特征采集時納入無用的背景信息；右圖為可變形卷積，有效避免了背景和干擾項的影響)Fig.3 Comparison of block convolution and deformable convolution (the left picture is the traditional block convolution, the use of background information is included in the feature collection; the right picture is the deformable convolution, effectively avoiding the influence of background and interference terms)

一般的卷積操作步驟為：1)使用一個規則網格R對輸入特征圖X進行采樣；2)對每個采樣點乘以權值W并求和。以一個3×3的卷積為例

R={(-1,-1),(-1,0),…,(0,1),(1,1)}

(2)

對于位置p0，傳統的卷積輸出為

(3)

在可變形卷積中，如方格變形偏移，只需加上其偏移向量Δpn

(4)

Δpn只影響X輸入層像素的抽樣，并不影響權重W，所以需要訓練的參數有2組：W和Δpn，如圖4所示。

圖4 可變形卷積網絡結構Fig.4 Deformable convolution network structure

同樣地，傳統的池化為

(5)

要想成為可變形的池化，與可變形卷積類似，只需加上其偏移向量Δpij，即

(6)

網絡結構如圖5所示。

圖5 可變形的池化網絡結構Fig.5 Deformable pooled network structure

2.3 旋轉anchor機制

SSD目標檢測方法采用標準的垂直矩形框對目標進行定位，對于艦船等帶有角度信息的細長型目標則具有明顯的局限性，主要體現在以下三點：1)垂直矩形框并不能顯示出艦船目標的真實形狀和長寬比；2)當目標旋轉角度接近45°時，垂直矩形框會引入較多的背景信息，復雜場景下會提高誤檢率和虛檢率；3)難以區分密集排列時的艦船目標，一個框可能包含多個目標，框與框之間重復部分較大。

針對上述3個問題，本文借鑒場景文字檢測中旋轉邊框定位的思想[22]，將原始的anchor改造為帶有旋轉的anchor，以傾斜角度來量化表示目標的傾斜程度，最終的檢測框以(x,y,w,h,θ)給出。其中，θ定義為以矩形形心為起點、船頭連線中心點為終點的向量與x軸的夾角，逆時針方向為正，取值為(-90,270]，示意圖如圖6所示。表1比較了兩種檢測框對艦船目標的刻畫效果，可見旋轉矩形框更適用于反映目標的真實形狀。

圖6 目標旋轉角度示意圖Fig.6 Schematic diagram of the target rotation angle

表1 標準矩形框與旋轉矩形框的比較

2.4 旋轉的非極大值抑制

學術界通常使用IoU作為兩框匹配策略的判定標準，對于垂直矩形框，2個框的交集和并集也是垂直矩形框，計算方法較為簡單；但對于旋轉矩形框，2個框的交集理論上是一個多邊形(邊數不多于8)，計算方法較為復雜。本文采取一種簡單的計算R-IoU(Related-IoU)的方法：1)以一個框A作為基準框，將另一個框B旋轉與框A平行，得到框B′；2)以垂直矩形框的方法來計算框A和B′的IoU；3)將2)中所得的IoU乘上框A和B角度差的余弦，即為2個旋轉框的R-IoU。R-IoU計算公式如下

(7)

由式(6)可以看出，計算R-IOU時引入了角度信息，2個框的有效角度相差在[0,180]范圍內時，差值越大其余弦值越小，即R-IoU的值越小。在訓練時利用R-IoU剔除與標注框(GroundTruth，GT)角度偏差大的默認框，在NMS時可以對R-IoU大(即角度偏差小)的重復框進行有效抑制。

2.5 損失函數

損失函數的設計對目標檢測網絡的訓練至關重要，改進SSD算法的損失函數是在原有損失函數上進行拓寬，加入角度回歸的損失，使得模型能夠有效學習角度偏差。整個損失函數計算公式如式(8)所示。

(8)

其中，N為匹配到的旋轉anchor個數，c是置信度向量，α為權值系數，默認為1。

該損失函數是位置損失和類型損失的加權和，Lconf是類型損失函數，LR-box是位置(回歸)損失函數。位置損失函數具體如下

(9)

(10)

(11)

(12)

(13)

邵雍理論基礎是“以物觀物”說。“所謂‘以物觀物’是對‘以我觀物’而言的，即排除個人的感情，而去體察萬物，從而達到所謂‘窮理’‘盡性’‘知命’。”［39］44陳獻章主張自得，注重個體的參與，故其詩歌中包含著更多自我情感的投入。由此而言，莊昶詩歌更多傾向于繼承邵雍的觀物說。其《雪蓬為盛行之作》末句：“只有區區觀物亭，半庭茂叔窗前草”［3］卷一，46即可視為對邵雍學說的回應，也是他作詩的一貫主張。這一主張也貫穿于他的題畫之作，如《題通伯先生山水畫》《鐘欽理畫牛》《題沈石田畫鵝為文元作》《題菜》等。正是陳莊二人的提倡，才使得有明一代，學擊壤派者“轉相模仿”［31］卷一五三，3966。

類型損失函數是以softmax函數為主的多分類交叉熵函數，具體見式(14)和式(15)

(14)

(15)

2.6 具有旋轉不變性的艦船目標檢測器

綜上所述，本文構建了一個針對艦船目標的新檢測器。該檢測器首先利用可變形卷積網絡對圖像進行特征提取，之后在多尺度上進行目標檢測[12]，每個尺度得到K×(1+5+classes)個通道的預測張量。這里的K指的是在每個特征圖網格里prior R-box的個數，prior R-box指的是旋轉anchor的真實選取。對于一個prior R-box，會產生(1+ classes)維的置信預測向量和5維位置預測向量。經過對預測張量的解碼，檢測器可以得到修正后的準確預測框，之后算法綜合多個尺度上的檢測結果進行NMS處理，可以篩去重復預測框。整個流程圖見圖7。

圖7 改進SSD的檢測流程圖Fig.7 Flow chart of improved SSD detection

在改進的SSD艦船目標檢測器中，多角度prior R-box與可變形卷積相輔相成。可變形卷積結構使得特征圖含有目標的幾何形狀信息，在prior R-box滑動過程中減少了無效的背景信息對目標定位的干擾。同時，prior R-box在滑動到每個位置上時都會按30°遍歷12個旋轉角來擬合艦船的朝向信息，這樣只需要確定幾個長寬比的矩形框便可以覆蓋所有目標形狀，大大緩解了傳統檢測器因目標旋轉而引起的先驗框指數倍增長的問題。

3 仿真實驗

本文通過設計實驗驗證了改進的SSD算法在艦船識別與分類中的有效性，并與其他主流的基于深度學習的目標檢測算法進行了比較。經實驗分析，本文所提出的算法在量化指標和檢測精度方面均表現良好。

3.1 數據集介紹

由于網上并沒有完全適合本文應用需求的開源艦船數據集，因此本文構建了一個具有一定規模的數據集。該數據集包括紅外圖像和可見光圖像2個部分，具體類型分為8類：航母、驅逐艦、核潛艇、兩棲攻擊艦、漁船、貨船、巡邏船、油罐船。

本數據庫圖像大小主要為640×512和320×256，包括紅外圖像15634張(含19352個實例)，可見光圖像3145張(含14873個實例)，圖像已通過開源工具完成標注，標簽格式為：類別代號、旋轉矩形中心點橫坐標、中心點縱坐標、寬、高、旋轉角。

3.2 實驗條件配置

算法的訓練和驗證均基于Caffe框架，訓練階段GPU選擇NVIDIA GeForce TitanX，采用動量項(momentum)為 0.9的異步隨機梯度下降，權值的初始學習率為0.001，衰減系數設為0.0005，最大迭代次數為500000，在300000和350000次時分別降低10%的學習率。為提高算法的魯棒性，對原始圖像進行如下增廣處理：增加高斯與椒鹽噪聲，均值、高斯濾波，反色，左右上下翻轉，亮度對比度變換等操作。

3.3 實驗評價指標

在計算機視覺領域中，根據任務不同，其評測指標也各不相同。本文結合其他任務中的評價方法，采用識別概率、識別精度和識別速度進行評價，具體含義如下：

1)識別概率：

設DT為識別到的目標位置信息，GT為真實目標位置信息。在類別標簽預測一致的情況下，根據DT與GT的IoU結果來判斷其是否識別正確，如果IoU大于閾值(這里取0.5)，則識別正確，反之為識別錯誤。IoU計算方式見式(7)。將識別正確的框個數除以GT總數量得到識別概率。

2)識別精度：

設DC為識別的目標中心位置信息，GC為真實目標中心位置信息。按上述方法判斷識別到的情況，根據DC與GC在圖像上的像素距離來計算識別精度。識別精度的計算如下

(16)

3)識別速度：

本文利用學術界常用的FPS來表征識別速度。FPS指的是每秒中識別圖像的數量，即幀/s。它是識別時間的倒數，其值越大說明1s內識別的圖像越多，算法運行速度越快，反之則越慢。

3.4 實驗結果及分析

實驗將預測層輸出的艦船目標類型數改為訓練集對應的類型數量，利用自建的艦船數據庫進行了3組訓練：1)將可見光樣本的4/5作為訓練集，1/5作為測試集，驗證模型的同源有效性；2)將全部可見光樣本作為訓練集，紅外圖像作為測試集，驗證模型的異源遷移性；3)將整個數據集(即兩種源域混合)的4/5作為訓練集，1/5作為測試集，驗證模型的多源融合性。由于實用時多為紅外探測體制，本節將數據集中的可見光圖像都進行灰度化處理，以使樣本接近紅外圖像。

訓練完成后，將得到的權值模型在對應測試集上進行批量測試，檢測框的概率閾值設為0.5。這里選取改進SSD算法的部分檢測效果圖，如圖8和圖9所示，并按照3.2節的評價指標對實驗結果進行了統計，見表2。結果表明：改進SSD算法能夠對多模態下水面和港口不同姿態的艦船進行有效檢測，能夠對多個類型進行區分，并適應于多種場景，具有一定的泛化能力和較強的魯棒性。測試時間在TitanX約55ms一幀，在TX2上約200ms一幀，滿足工程應用的實時性要求。

圖8 可見光圖像檢測結果圖Fig.8 Visible image detection results

圖9 紅外圖像檢測結果圖Fig.9 Infrared image detection results

訓練集識別概率/%識別精度/pix識別速度/FPS第1組91.24.815.7第2組89.75.617.0第3組92.44.516.6

對比表2的第1、2組統計結果可知，算法在同源訓測數據的性能表現要優于異源，這說明由可見光樣本訓練出的網絡模型雖然具有一定的異源遷移能力，但其性能表現仍不如在數據分布更接近的同源數據上。這一現象符合深度學習算法的原理，借鑒到工程應用時則需將訓練樣本盡可能地接近實際測試樣本。對比第1、3組統計結果可知，算法在多源訓測數據的性能表現要優于同源，這說明擴大數據量和提高樣本多樣性對提高算法性能有較大的幫助。借鑒到工程應用中，則是對于難獲取的非合作艦船目標，盡可能地搜集類似的紅外樣本，與可見光仿真樣本混合訓練，有助于提高待打擊目標的識別性能。

為證明本文算法的優越性，實驗在相同配置條件下按照第3組訓練方式做了改進SSD算法和其他通用深度學習檢測算法的性能對比，如表3所示。

表3 不同檢測模型的檢測性能對比

由表3的統計結果可得，改進后的SSD算法較其他流行的深度學習算法在本文數據集上的性能表現最好，主要原因是其在SSD算法多尺度預測、默認框機制、難例挖掘等優勢基礎上加入了可變形卷積與池化操作、旋轉框機制，并且對損失函數進行了優化。以上改進彌補了原始SSD算法較其他算法在精度上的不足，同時融合了MobileNet網絡架構使算法基本維持了原有的識別時間。

4 結論

針對提高對海智能識別的使用需求，本文提出了一種端到端的艦船目標精細化檢測方法。算法分析與實驗表明：

1)算法通過引入可變形卷積與池化模塊，對艦船目標的幾何姿態信息具有較強的學習能力，可適應復雜海面和港口環境下的艦船目標檢測；

2)算法通過引入旋轉默認框機制，使得檢測框包含了更少的背景信息并能夠給出目標朝向信息，對不同姿態的海面艦船具有較強的魯棒性，分類能力更高；

3)算法借鑒MobileNet的思想對網絡進行優化，減少了冗余計算量，平衡了速度與精度，可滿足算法實時性要求；

4)算法對于訓練集外的新目標類型適應能力較弱，對于外形比較接近的不同目標或背景容易產生誤檢，對于弱小目標容易產生漏檢，這些是有待進一步提高的方面。