基于感知向量的光學遙感圖像艦船檢測

潘超凡, 李潤生, 許 巖, 胡 慶, 牛朝陽, 劉 偉

(信息工程大學數據與目標工程學院, 河南 鄭州 450001)

0 引 言

光學遙感圖像艦船目標檢測任務在獲取敵方艦船情報、為己方指揮員提供決策參考方面發揮著重要作用,關乎海戰場的戰局勝敗。當前，基于深度學習的目標檢測技術按照是否考慮了目標角度信息可分為水平框檢測和旋轉框檢測。

水平框檢測通過預測目標的水平最小外接矩形來表示目標,其發展大致經歷了滑動窗口法、選擇性搜索法、區域生成網絡(region proposal network, RPN)、無錨框檢測4個階段[1-8]。水平框檢測適用目標小長寬比、稀疏排列的情況。對于一些大長寬比的目標和密集排列場景,水平框可能會出現相互之間高重疊的情況,在非極大抑制時會排除掉一些預測框,導致漏檢。除此之外,對任意方向的大長寬比目標進行預測時，包圍框內含有大量背景區域,其噪聲信息的干擾會降低網絡檢測性能。

旋轉框考慮了目標的角度信息,可以很好地解決上述問題。當前的旋轉目標檢測器按照是否采用預定義的候選框可大致分為兩類:基于錨框的檢測器[9-12]和無錨框的檢測器[13-15]。基于錨框旋轉檢測器根據先驗錨框提取候選目標區域并完成分類和回歸過程,而無錨框類檢測器通過關鍵點預測實現對目標的建模。

由于光學遙感圖像的成像為俯視視角,因此光學遙感圖像中的艦船目標具有任意方向和多尺度的特點。對于艦船這種大長寬比的旋轉目標,采用旋轉框檢測方法可以更好地貼合目標,避免背景區域的干擾。針對這些特點,一些學者設計了相應的檢測網絡以實現對艦船目標的精確檢測。Zhu等[16]提出一種基于關鍵點提取的艦船檢測全卷積網絡DiamondNet,其基本思想是在考慮艦船形狀特征的基礎上設計了中心點、兩個頭尾點、兩個側翼點和5個關鍵點來導出有效的艦船表示,通過聚類算法將關鍵點分組到相應目標實例中,完成艦船目標檢測。Zhang等[17]將艦船目標建模成中心點和頭點兩個關鍵點,由主干網絡和方向不變模型(orientation-invariant model,OIM)提取特征圖后預測關鍵點,得到對艦船目標的兩點表示,并利用先驗信息精煉細化預測結果。

除此之外,光學遙感圖像艦船目標檢測任務還面臨著背景噪聲的問題,尤其是近岸場景下的建筑物或碼頭等會給檢測帶來較大干擾。針對該問題,本文在一個基于包圍框邊緣感知向量(box boundary-aware vectors, BBAVectors)的無錨框類旋轉檢測網絡基礎上添加了注意力機制模塊來增強目標信息,解決近岸場景干擾大的問題。同時，考慮到原網絡的向量學習過程僅依靠回歸過程進行,缺少相互之間的約束,本文基于4個向量間的幾何關系設計了一個損失函數來指導包圍框的學習,提升了網絡的魯棒性。

1 基于BBAVectors的基線網絡

為解決基于錨框的檢測器兩階段旋轉目標檢測網絡存在的正負樣本不平衡問題,Yi等[18]在CenterNet的基礎上進行了擴展,提出了一個單階段旋轉目標檢測網絡,網絡結構如圖1所示,其中包含特征金字塔網絡(feature pyramid networks, FPN)。

圖1 基于BBAVectors的旋轉目標檢測網絡

主干特征提取網絡采用ResNet101,特征圖金字塔網絡通過3次特征融合得到4倍下采樣特征圖C2,然后輸入4個檢測頭進行目標包圍框的學習。

中心點熱圖通道數為目標類別數,用來定位物體中心點,熱圖上像素點的值為該點在相應通道(類別)的置信度。訓練熱圖的損失函數為變體focal loss,如下所示:

(1)

中心點偏移圖用于中心點回歸,訓練損失為

(2)

(3)

包圍框參數b包括4個BBAVectors和水平外接矩形的寬高:b=[t,r,b,X,we,he]。訓練損失為

(4)

當旋轉框接近坐標軸時會導致向量類型難以區分,旋轉方向特征圖可以較好地解決該問題。當旋轉框和其水平外接矩形交并比達到某一閾值時,預測框為其外接矩形,否則為旋轉框。旋轉方向特征圖定義為

(5)

式中：RBB表示旋轉框；IOU(·,·)表示交并比；OBB表示定向框；HBB表示水平框。損失函數為

(6)

2 改進模型

本文在特征融合網絡和檢測頭之間添加了一個有監督的多維注意力機制模塊[19],通過真值掩膜圖指導網絡學習,有助于將更多的注意力集中到艦船目標區域,削弱背景噪聲的干擾。同時，本文還設計了針對4個BBAVectors之間約束關系的損失函數,以此來保證相鄰向量間的兩兩垂直關系,加強了學習耦合性,降低了因向量獨立性造成的包圍框不規則性。

2.1 有監督的注意力機制模塊

對于近岸艦船目標檢測,存在的較大挑戰是干擾較多,一些岸上目標如房屋、船塢、碼頭等很容易被誤檢。本文對基線模型進行了改進以提高檢測精度。圖2為改進的網絡結構。

圖2 改進型網絡

注意力機制借鑒了人腦聚焦感興趣目標的功能,旨在讓神經網絡模型對不同區域具有不同的關注度。對于目標區域,注意力機制會賦予其更高的特征權重,同時抑制背景區域權重值,以此來投入更多的注意力資源,獲取更多的目標信息,提高網絡的目標辨識能力。

本文將空間注意力機制和通道注意力機制并行組合,分別提取空間維度和通道維度的注意力權重,并將權重張量和輸入特征圖C2逐像素相乘實現對特征的重新加權,得到信息連續的特征圖。不同于串聯方式,并行組合可以避免通道注意力機制全局平均池化造成的空間信息丟失,有效增強網絡對目標特征的學習能力。

通道注意力分支由壓縮-激勵(squeeze-and-excitation, SE)注意力模塊[20]組成,該模塊針對通道域學習各通道間的相關性,并對通道重要性進行打分得到每個通道的注意力權重。具體來講,SE模塊共分為兩部分,第一部分是對空間域進行全局平均池化操作,得到1×1×C的一維向量,C為特征通道數。其原理在于通道注意力權重是作用于整個空間維度的,因此需要利用空間域的整體信息進行計算,將其壓縮為1×1大小可以得到全局感受野,實現全局信息的綜合。第二部分是激發操作,通過壓縮和擴張比率為16的兩級全連接層實現對一維向量的壓縮及擴張恢復過程,最后經過sigmoid激活函數得到通道注意力權重。兩級全連接層的目的在于實現通道間的信息交互,從而根據學習到的通道相關性校準權重,避免了通道獨立帶來的權重學習片面性。

空間注意力分支[21]對輸入特征圖C2在通道維度進行最大池化和平均池化得到雙通道顯著圖,經過softmax函數后顯著圖的目標信息相對于噪聲區域會得到有效增強。不同于平均池化,最大池化舍棄了通道維度的次重要信息,只選擇最具代表性的特征,對比度高,對特征的強化和對背景噪聲的抑制作用強。考慮到對特征的表征能力,本文選擇最大池化通道的顯著圖作為空間注意力分支的權重。同時,雙通道顯著圖經過一個尺寸為7×7的卷積核進行特征融合得到單通道特征圖,經由sigmoid函數激活后和真值掩膜圖計算交叉熵損失作為注意力損失。該損失可有針對性地引導網絡關注目標區域,發揮監督訓練的高效性。

對于單樣本而言,交叉熵損失函數定義如下:

(7)

(8)

在計算注意力損失時,樣本空間為一個二維張量區域,樣本數量為h×w,因此交叉熵損失函數為

(9)

由于圖像中目標區域面積占比相對較小,正負樣本分布失衡,直接計算交叉熵損失會使損失函數的分布向背景區域傾斜,導致訓練的網絡對目標區域關注度低,檢測性能差。為保證對目標區域的有效學習,需在損失函數中添加權重因子來提高目標區域的損失權重,平衡正負樣本的分布。注意力損失函數最終定義為

(10)

式中:λ1為真值區域像素損失權重;λ0為背景區域像素損失權重。

2.2 真值掩膜圖生成算法

本文基于八參數系統設計了一個掩模圖生成算法,用于注意力模塊的監督訓練。建立一個二維平面直角坐標系,坐標原點為左上點,如圖3(a)所示,標注框頂點坐標分別為(x1,y1),(x2,y2),(x3,y3),(x4,y4)。首先以第一組對邊建立兩直線方程,求得兩直線圍成的區域,再以第二組對邊建立兩直線方程并得到所圍區域,則兩區域交集即為標注的目標區域,如圖3(d)所示。將該區域賦值為1,其余區域賦值為0,即得到一張圖片的真值掩膜圖,效果如圖4所示。算法具體步驟如算法1所示。

圖3 地面真值掩膜生成原理圖

圖4 地面真值掩膜生成效果

算法 1 真值掩模圖計算輸入:八參數系統標注坐標:(x1,y1),(x2,y2),(x3,y3),(x4,y4)掩模圖尺寸:W×H輸出:真值掩膜圖1:零初始化大小W×H×1的掩模圖;2:建立第一組直線方程:f1(x,y)=x(y1-y2)-y(x1-x2)-x1(y1-y2)+y1(x1-x2)f2(x,y)=x(y3-y4)-y(x3-x4)-x3(y3-y4)+y3(x3-x4)3:求解滿足f1(x,y)·f2(x,y)>0的坐標集合M;4:建立第二組直線方程:f3(x,y)=x(y1-y4)-y(x1-x4)-x1(y1-y4)+y1(x1-x4)f4(x,y)=x(y3-y2)-y(x3-x2)-x3(y3-y2)+y3(x3-x2)5:求解滿足f3(x,y)·f4(x,y)>0的坐標集合N;6:求解目標區域:A=M∩N;7:將目標區域像素值賦值1;8:輸出掩膜圖。

2.3 損失函數設計

通過學習BBAVectors,網絡可以將目標位置信息統一到同一笛卡爾坐標系下,避免各參數回歸的不一致性。但該方法也存在一個潛在的問題,如圖5所示。由于4個向量是單獨進行學習的,因此相互間沒有約束關系,可能不滿足構成矩形框的條件,即相鄰向量不一定垂直,反向向量不一定共線,導致最后學習到的包圍框為不規則四邊形。為解決上述問題,本文設計了一個向量監督損失,通過向量間的約束關系保證包圍框學習的規范性。

圖5 BBAVectors潛在問題示意圖

損失函數計算分為3部分,分別為Lt·r、Ll·b、Lt·b。Lt·r由圖6(a)向量組合計算,用于保證一、二象限邊界向量垂直關系;Ll·b由圖6(b)向量組合計算,保證三、四象限邊界向量垂直關系;Lt·b由圖6(c)向量組合計算,保證一、三象限邊界向量共線關系。

圖6 向量監督損失計算示意圖

3組損失共同作用可實現對相鄰向量兩兩垂直的約束關系,最終的向量監督損失表達式如下:

Lvec=Lt·r+Ll·b+Lt·b

(11)

其中,Lt·r、Ll·b、Lt·b分別為

(12)

式中:N為目標總數;t、l、b、r分別為一、二、三、四象限的BBAVectors。計算損失時需將向量進行歸一化,利用單位向量內積來衡量損失,此時的內積值為兩向量夾角余弦值,可用于表示角度關系。如圖7所示,e1和e2為垂直關系時,d=e1·e2=0;e1和e2反向共線時,d=e1·e2=-1。

圖7 向量監督損失計算原理

將本文設計的向量約束損失和空間注意力監督損失加入到基線網絡損失函數,形成改進的損失函數:

L=Lh+Lo+Lb+Lα+weight1·Latt+weight2·Lvec

(13)

式中,weight1和weight2分別為注意力損失和向量約束損失的協調系數。

3 實驗結果及分析

3.1 實驗數據

實驗驗證采用的遙感艦船目標數據集為HRSC2016[22],涵蓋了近岸和海面場景,共包括大小介于300×300～1 500×900的1 061幅圖像,目標總數2 976。其中,訓練集436幅圖像,驗證集181幅圖像,測試集444幅圖像。該數據集檢測任務由3級構成[23]:L1、L2、L3。L1級目標類別均為船;L2級目標由航母、戰艦、商船、潛艇組成;L3級目標為L2級目標型號級別的細分類,共27類目標。由于數據集中艦船目標相對較大,為保證目標完整性和訓練效果,未對數據集進行裁剪預處理。在訓練過程中對輸入圖像進行隨機翻轉、隨機旋轉和隨機裁剪的數據增強處理來防止過擬合問題,增強模型訓練的魯棒性。

3.2 實驗環境及參數設定

實驗環境為Windows10操作系統,CPU為Inter(R) Xeon(R) Gold 5218 CPU @ 2.30 GHz,GPU為NVIDIA RTX 5000,顯存16G,開發平臺為pytorch 1.7.1+CUDA10.2。

訓練參數設置epoch=100,batchsize=8,初始學習率為0.000 125,學習率調整選擇指數型調整策略,學習率衰減因子為0.96,采用自適應矩估計法Adam作為優化器,主干特征提取網絡在ResNet101預訓練權重的基礎上進行訓練。訓練過程中將輸入圖像縮放至608×608大小,輸出的4倍下采樣特征圖C2尺寸為152×152。式(9)中的超參數設置為λ1=3、λ0=1。式(12)中的超參數設置為weight1=1、weight2=1。

3.3 實驗結果及分析

表1給出了本文改進方法、基線網絡和同領域其他旋轉檢測網絡在L1級檢測任務上的檢測結果對比,07(12)表示使用2007(2012)評估指標。可以看出在檢測精度方面,本文方法顯示出了具有競爭力的性能。對于兩種檢測精度的評估指標,在基線網絡的基礎上分別提升了1.23%和3.75%。在推理速度方面,本文方法為12.68 fps,僅比基線網絡降低了0.72 fps。造成推理速度略微下降的原因在于改進型網絡比基線網絡多了注意力機制模塊,該模塊中的卷積層和全連接層增加了網絡參數量和計算量,因此速度會有所下降。

表1 改進方法與基線網絡性能對比

整體來看,改進型網絡在檢測精度和推理速度兩方面相較于其他檢測網絡均具有較大優勢,和基線網絡相比在精度方面有一定提升,證明了本文改進方法的有效性。

對于HRSC2016數據集上的L2級檢測任務,改進模型的4類目標測試集精度-召回率曲線如圖8所示。可以看出，航母和戰艦的檢測效果較好,對商船的檢測效果最差。主要原因是航母和戰艦特征較為固定,而商船特征多樣,檢測難度相對較高,容易出現誤檢和漏檢情況。

圖8 4種目標的精度-召回率曲線

為直觀地比較基線網絡和本文模型的檢測效果,分別抽取部分近岸和海面的測試結果。如圖9(a)和圖9(b)所示,對于岸上干擾較強的場景和潛艇目標,改進模型的檢測效果得到了一定程度提升,對于一些小目標也有較好的檢測性能,如原網絡對潛艇出現了漏檢和誤檢,本文方法正確識別了相應目標。對一些海面目標,本文方法可以進行較準確地檢測和分類,原網絡可能會出現部分漏警和誤分類,對比結果如圖9(c)和圖9(d)所示。

圖9 檢測結果對比

表2對比了本文方法和基線方法在L2級檢測任務上的效果。可以看出，改進模型的整體檢測性能相較于基線網絡提升了8%左右,尤其對于航母和潛艇目標提升較為明顯。這是由于在近岸條件下,航母目標的甲板紋理特征易與岸上建筑或道路混淆,其形狀和船塢相似,存在被錯檢漏檢的情況。潛艇目標形狀細長,在圖中所占比例較小,且其色調為暗黑色,容易被漏檢。本文改進方法通過有監督訓練的空間注意力機制和通道注意力機制并行組合，可以起到對目標區域聚焦的作用,加強網絡對艦船目標的關注度,有利于對目標細節特征的學習。BBAVectors約束損失旨在給包圍框的學習添加一個自監督機制,和回歸損失Lb共同指導向量的學習過程。

表2 改進型網絡與基線網絡性能對比

除在HRSC2016數據集進行測試外,本文還選取了美國諾福克港口遙感圖像進行對比檢測。圖像尺寸為5 112×6 352,本文將其裁減為608×608的子圖大小。考慮到裁減可能會造成的目標截斷,為保證目標完整性,設置裁減的重疊大小為300,邊緣子圖以原圖為界,最終得到357張子圖。重疊區域可能會帶來同一目標對應多個檢測框的情況,因此需先合并子圖檢測結果,然后利用非極大抑制實現冗余檢測框的過濾,得到大圖檢測結果。從圖10可看出,對于近岸場景,改進模型的抗干擾性具有明顯優勢。由3個紅色放大區域對比可看出基線網絡將岸上一些長條狀建筑和房屋排列誤檢為艦船目標,而本文改進的網絡模型較好避免了建筑物干擾,虛警率遠低于基線網絡。但兩方法均存在一定程度的漏檢,由黃色放大區域可看出貼靠碼頭停放的艦船未被準確識別。

圖10 諾福克港口檢測結果對比

3.4 消融實驗

為研究改進模型各部分的貢獻大小,本文對有監督的注意力模塊和BBAVectors損失進行了消融實驗,并針對損失函數中的超參數和監督訓練中前景、背景權重設計了兩組實驗來探究最佳參數組合。消融實驗基于L2級檢測任務進行。

3.4.1 注意力模塊

本節探究注意力模塊對網絡檢測性能的影響,實驗結果如表3所示。可以看出，注意力模塊對檢測性能的提升貢獻為4%左右,除商船目標外,其他3類目標檢測結果均有不同程度提升。如第3.3節所講,這種情況是由于商船特征較為多樣化,類內方差較大,訓練樣本不足時加入注意力模塊會導致對一些細節特征過擬合而對整體類別的特征學習不足,檢測性能變差。相對來說，航母和潛艇的特征比較單一,類內方差小于商船,因此注意力模塊有助于更好地進行目標特征學習,提高網絡的檢測性能。

表3 注意力模塊對網絡性能影響

3.4.2 BBAVectors損失

本節將是否添加Lvec作為控制變量,通過消融實驗探究該損失函數的性能優劣和對檢測結果的影響。為直觀了解包圍框的學習效果,將3組BBAVectors所在方向的單位向量內積et·er、el·eb、et·eb轉換為點的空間坐標表示,轉換關系如下：

(14)

式中:x、y、z為空間點的三維坐標。

將測試集的檢測結果進行坐標轉換得到的空間點分布如圖11所示。

圖11 空間點分布

由圖11可看出,添加Lvec后的單位向量內積分布更加靠近原點方向,這說明學習到的BBAVectors相較于基線網絡有較強的兩兩垂直關系,包圍框更接近矩形,不規則性得到了一定程度的降低,證明了利用向量間的約束關系設計損失函數使得4個BBAVectors在自監督模式下進行訓練可以有效提高包圍框的學習效果。

表4給出了Lvec對網絡檢測性能的影響,可以看出在L2級檢測任務上的精度提升了5.66%。其中,航母目標提升了12.95%,潛艇目標提升了9.62%,而戰艦和商船目標的檢測結果提升不明顯,僅分別提升了0.32%和0.18%。經過分析,本文認為航母的斜角甲板會對BBAVectors的學習產生一定干擾,利用相鄰向量的幾何關系進行約束可以較好地削弱這種影響;潛艇目標長寬比大,側邊向量學習困難,頭尾向量學習較為簡單,通過頭尾向量和側邊向量的垂直關系指導回歸過程可以顯著提高學習效果;戰艦目標外形特征明顯,學習難度相對較低,基線網絡就可達到較好的效果,添加Lvec損失對檢測性能提升不大;商船目標尺度變化范圍較大,較少的訓練樣本無法對目標外形進行有效學習,添加約束損失對檢測結果影響不大。

表4 Lvec損失對網絡性能影響

3.4.3 超參數影響

本文在模型訓練時,多任務損失中注意力損失和BBAVectors損失的協調系數系數均默認設置為1,注意力損失中前景和背景損失權重分別默認設置為λ1=3、λ0=1。為探究協調系數和前背景損失權重對模型的影響,本文遵循控制變量法設計了幾組不同的組合進行檢測性能對比,實驗結果如表5和表6所示。由表5可看出,固定λ1=3、λ0=1,當注意力損失和向量損失的協調系數組合為1和0.5時,檢測的平均精度為84.59%,相較于默認組合weight1=1、weight2=1提升了0.04%。由表6可知,固定weight1=1、weight2=1,當前景和背景權重為λ1=3、λ0=1時檢測性能最優,為84.55%。過低的前景權重會導致對目標區域的關注度不夠;過高的前景權重會大大降低訓練時背景噪聲所占比重,而一定程度的噪聲可以防止網絡對某些特征的學習產生過擬合,因此高前景權重會削弱降低檢測器的抗干擾性和魯棒性,導致檢測性能出現一定程度的下降。

表5 協調系數影響(λ1=3,λ0=1)

表6 注意力損失前景、背景權重影響(weight1=1,weight2=1)

4 結束語

針對光學遙感圖像艦船檢測任務中的背景干擾問題,本文在基于BBAVectors的單階段檢測網絡基礎上進行了改進,在基線網絡的特征金字塔網絡后添加了一個有監督的注意力機制模塊并利用標簽文件生成的二值掩模圖實現模塊訓練,旨在加強目標區域特征,削弱背景噪聲影響。同時還設計了一個BBAVectors損失函數,利用向量間的幾何約束關系指導包圍框的學習過程,抑制其不規則性。實驗結果表明,本文改進方法有效提升了網絡檢測性能,對于航母和潛艇目標的檢測效果提升明顯。不足之處是依然存在一些虛警和漏檢,且對于商船類目標的檢測精度還有很大提升空間,這也是下一步工作需改進的地方。