遙感圖像在船舶檢測深層卷積神經(jīng)網(wǎng)絡的應用

李泳強，石小平

(新疆大學 數(shù)學與系統(tǒng)科學學院，新疆 烏魯木齊 830046)

0 引 言

海面環(huán)境多變且條件惡劣，給船舶目標檢測帶來極大難度[1-2]。利用合成孔徑雷達圖像實現(xiàn)船舶目標的識別是過去普遍采用的船舶檢測方式[3]，與之相比，遙感圖像具有覆蓋區(qū)域廣、視覺信息豐富等優(yōu)勢，因此，基于遙感圖像的船舶目標檢測已成為當下研究熱點[4]。

李森森等[5]針對船舶遙感圖像采集質量差造成的船舶目標識別精度不高的問題，提出在船舶遙感圖像增強的基礎上，以船舶方向梯度直方圖作為判別依據(jù)，實現(xiàn)候選區(qū)域船舶目標與其他干擾信息的區(qū)分。該方法因無法實現(xiàn)干擾因素的全部消除，導致船舶檢測效果大受影響。深度卷積神經(jīng)網(wǎng)絡能夠根據(jù)輸入的遙感圖像實現(xiàn)目標特征圖的獲取，從而完成目標檢測與識別。鑒于上述方法在船舶目標檢測存在的問題，本文研究深層卷積神經(jīng)網(wǎng)絡的船舶遙感圖像檢測方法，實現(xiàn)不同類型船舶目標的精準檢測。

1 船舶遙感圖像目標檢測

1.1 船舶遙感圖像增強與去噪

為使船舶目標檢測精度滿足要求，通過拉普拉斯算子對其進行增強，提高視覺效果。f(x,y,z)描述船舶遙感圖像，其中任意一個像素點表示為(x,y)，其維度表示為z。拉普拉斯算子公式為：

拉普拉斯算子可通過線性方式對其進行描述，對x、y方向作差分轉換，根據(jù)轉換結果以及式（1）即可實現(xiàn)拉普拉斯算子的準確描述：

通過式（2）可完成濾波模板的確定，將其與拉普拉斯算子聯(lián)合使用，即可完成拉普拉斯濾波的確定。

對船舶遙感圖像作增強處理后，仍可能存在部分噪聲干擾，采用中值濾波對其作進一步處理，提高船舶遙感圖像質量。

1.2 船舶遙感圖像目標檢測模型

本文構建的船舶遙感圖像目標檢測模型由引入多層可變形卷積層D-FPN 網(wǎng)絡以及D-FCN 網(wǎng)絡級聯(lián)而成，將處理后船舶遙感圖像作為船舶檢測模型的輸入后，利用引入多層可變形卷積層D-FPN 網(wǎng)絡獲取疑似船舶候選區(qū)域圖像，通過多尺度錨點設計以滿足船舶目標檢測時的尺寸要求，將疑似船舶候選區(qū)域提取結果作為D-FCN 網(wǎng)絡的輸入，實現(xiàn)船舶目標的精準檢測。

1.2.1 可變形卷積層D-FPN 網(wǎng)絡

常規(guī)卷積方式以不變位置實現(xiàn)船舶遙感圖像輸入信息的采樣處理，在船舶目標外形以及尺寸存在差異時，難以依據(jù)其完成采樣位置的修正，這使得船舶目標檢測模型的特征刻畫能力大幅降低。可變形卷積方式利用采樣位置的偏移量使D-FPN 網(wǎng)絡具有突出的特征表達能力，可變形卷積計算公式描述為：

式中：S為采樣位置，p0為中心點；pi為任意一點采樣點，i=1,2,..,N，用于描述采樣位置編號；?p為采樣點的偏移量； ω為卷積核權重。

D-FPN 是以ResNet50 為基礎并引入3 個可變形卷積層的網(wǎng)絡，其基本結構如圖1 所示。為了充分捕捉船舶遙感圖像信息，提高船舶目標檢測效果，本文設計一個可涵蓋多尺度信息的特征金字塔，按照從上至下路徑以及水平連接形式實現(xiàn)各層特征的融合，其結構如圖2 所示。{C3、C4、C5}為輸入至RestNet50 的特征圖，C5 特征圖經(jīng)過兩次3×3 卷積處理后，可生成具有深層特征的步長為64 的P6 特征圖以及步長為126 的P7 特征圖，再對C5 做一次1×1 卷積并上采樣，可實現(xiàn)特征圖P5 與C4 分辨率的統(tǒng)一，將P5 與C4 作合并處理后，可確定新的特征圖P4，其步長為16，再次執(zhí)行上采樣與合并操作，即可完成P3 特征圖的確定。

圖1 D-FPN 網(wǎng)絡基本結構Fig.1 Basic structure of D-FPN network

圖2 多尺度特征金字塔結構Fig.2 Multi scale feature pyramid structure

1.2.2 D-FCN 網(wǎng)絡設計

D-FCN 網(wǎng)絡結構如圖3 所示。該網(wǎng)絡由3 部分構成：1）特征提取階段參考ResNet50 網(wǎng)絡設計，目的是防止網(wǎng)絡訓練時梯度爆炸等現(xiàn)象的產生；2）特征融合階段是基于U-Net 網(wǎng)絡思想進行設計，以FCN 為前提，通過高低維特征的深層次融合，使船舶目標檢測效果獲得大幅提升；3）在船舶檢測結果輸出階段，采用3 個相同尺度卷積層對特征融合結果進行處理，獲取1 通道置信分數(shù)計算結果、船舶旋轉角度結果、4 通道矩形框邊界信息結果。

圖3 D-FCN 網(wǎng)絡結構Fig.3 D-FCN network junction

為實現(xiàn)船舶旋轉矩形框位置的確定，除了獲取船舶朝向角度參數(shù)之外，還要確定矩形框邊界信息。利用D-FCN 網(wǎng)絡對船舶目標進行檢測時，需采用旋轉矩形框以順時針方向對疑似船舶候選區(qū)域圖像中的船舶目標頂點位置作標記處理，確定船舶目標真實掩膜與預測值。對于目標掩膜，其內各像素點描述為：

式中：di為船舶像素點與旋轉矩形框各邊之間的距離，θ為矩形框旋轉角度，也稱為船舶朝向角度，是船頭、船尾所在直線與圖像所在橫軸所成角度。

U-Net 網(wǎng)絡訓練的損失函數(shù)通過比較原始輸入與底層特征差異進行設計，采用反向傳播算法實現(xiàn)網(wǎng)絡參數(shù)的不斷調整。在誤差反向傳播過程，只有與損失約束更貼近的參數(shù)才具有優(yōu)先調整權，而其余參數(shù)的調整幅度呈現(xiàn)不斷減小趨勢，對網(wǎng)絡頂層參數(shù)更新起到抑制作用。為提高船舶遙感圖像檢測精度，設計新的損失函數(shù)實現(xiàn)網(wǎng)絡頂層參數(shù)的優(yōu)化處理。D-FCN 網(wǎng)絡損失函數(shù)為：

式中：Lbottom為底層原始輸入與輸出之間的損失，Ltop為頂層原始輸入與輸出之間的損失。Lbottom的計算公式為：

式中：Lcls為船舶目標分類損失值，Lgeo為幾何損失值。計算公式分別為：

式中：Ycls實際掩膜； 為其估計值；Lbbax為矩形框定位產生的損失值；Lθ為由船舶旋轉角度造成的損失。

2 實驗結果與分析

以船舶遙感圖像為研究對象，構建包含4 000 張不同類型船舶的遙感圖像數(shù)據(jù)集，圖像尺寸為1 024×1 024，貨運船、郵輪、游艇遙感圖像數(shù)量分別為2 400、1 200、400，添加600 張非船舶遙感圖像作為負樣本。按4∶1 比例劃分訓練樣本與測試樣本，采用本文方法對船舶遙感圖像目標進行檢測，分析其檢測性能。

高質量遙感圖像是確保船舶目標檢測效果達到優(yōu)質水平的前提。以圖4 所示船舶遙感圖像為例，采用本文方法對其作圖像增強與去噪處理，處理前后船舶遙感圖像的視覺效果如圖5 所示。可知，原始船舶遙感圖像具有色彩飽和度低、圖像清晰度差的特點，圖像采集環(huán)境等因素對船舶遙感圖像質量影響較大，導致其視覺效果不理想。以原始遙感圖像進行船舶目標檢測，將對檢測結果產生不利影響。對原始遙感圖像作增強處理后，圖像色彩飽和度與對比度等均獲得有效提升，但因圖像中仍然含有大量噪聲，其視覺效果仍未達到要求。去噪后的船舶遙感圖像畫面清晰度高，圖像模糊等問題得以解決，船舶遙感圖像視覺效果獲得顯著提升。實驗結果表明，本文方法具有船舶遙感圖像處理能力，視覺效果突出。

圖4 船舶遙感圖像原圖Fig.4 Original ship remote sensing image

圖5 船舶遙感圖像處理結果Fig.5 Results of ship remote sensing image processing

不同數(shù)量、位置可變形卷積下船舶目標識別精確度(P)、召回度(R)以及F1 分值的差異分析結果如表1所示。分析可知，將相同數(shù)量可變形卷積層放置在基礎網(wǎng)絡ResNet 的Res2(3)、Res3(3)、Res4(3)、Res5(3)不同位置上，其嵌入位置于Res5(3)時的船舶目標識別P、R和F1分數(shù)指標值最高，說明將其放置在ResNet 基礎網(wǎng)絡后端對提升船舶目標檢測精度更有利。當將不同數(shù)量可變形卷積層均放置在相同位置處，當其使用數(shù)量為3 時，船舶目標檢測的P、R、F1分數(shù)指標值最大，說明其用量越高對船舶目標檢測精度的提升越有利。實驗結果表明：將3 個可變形卷積層嵌入到ResNet 基礎網(wǎng)絡后端，可有效提升船舶目標檢測效果。

表1 可變形卷積層數(shù)量與位置對船舶檢測結果影響Tab.1 The Influence of the number and position of deformable convolutional layers on ship detection results

本文方法的檢測損失曲線如圖6 所示。分析可知，船舶目標檢測模型訓練過程中，隨著訓練次數(shù)的不斷增長，模型訓練損失呈現(xiàn)出持續(xù)降低變化規(guī)律。結果表明，船舶遙感圖像訓練損失很小，模型訓練效果突出。

圖6 船舶目標檢測訓練損失曲線分析Fig.6 Analysis of ship target detection training loss curve

應用本文方法對測試樣本中的不同類型船舶目標進行檢測，通過對檢測結果進行分析，驗證本文方法的優(yōu)越性，實驗結果如圖7 所示。圖中矩形框對檢測到的船舶進行標記。結果表明，本文方法具有船舶遙感圖像目標檢測性能，檢測效果突出。

圖7 船舶目標檢測結果Fig.7 Ship target detection results

3 結 語

本文研究利用深度卷積神經(jīng)網(wǎng)絡對船舶遙感圖像目標檢測方法，通過對處理后的船舶遙感圖像視覺效果、可變形卷積在船舶檢測中的作用以及船舶目標檢測結果等進行分析，驗證本文方法的船舶檢測性能。實驗結果表明：處理后的船舶遙感圖像畫面清晰、色彩飽和度好；引入可變形卷積有利于提高船舶目標檢測效果。本文方法可實現(xiàn)不同類型船舶檢測，檢測效果突出。