基于改進CenterNet的輕量級無錨框SAR圖像多尺度艦船檢測算法

謝洪途, 姜新橋, 王國倩, 謝愷

(1.中山大學(xué)(深圳) 電子與通信工程學(xué)院, 廣東 深圳 518107; 2.廣州醫(yī)科大學(xué) 第五附屬醫(yī)院, 廣東 廣州 510700)

合成孔徑雷達[1](synthetic aperture radar,SAR)是一種高分辨率成像雷達[2-3], 具有全天候和全天時等特點,能不間斷對陸地和海洋進行觀測[4-5]。近年來,利用SAR圖像進行艦船檢測的相關(guān)研究在海洋遙感領(lǐng)域得到高度重視[6-7]。SAR圖像中,艦船的尺寸因類型而異,這種多尺度問題降低了艦船的檢測性能。傳統(tǒng)SAR圖像艦船檢測方法主要依賴于人工設(shè)計特征,容易受到復(fù)雜背景干擾,存在識別精度差、識別效率低且泛化能力弱等缺點[8-9]。深度學(xué)習(xí)方法具有自主學(xué)習(xí)參數(shù)和自動提取特征的能力,擺脫了對人工設(shè)計特征和建模的依賴性,相較于傳統(tǒng)方法具有抗干擾性強、檢測準確率高等優(yōu)點[10],特別是在場景復(fù)雜多變、目標姿態(tài)不一的SAR圖像艦船檢測領(lǐng)域中具有巨大的發(fā)展?jié)摿11]。

Li等[12]通過利用特征融合、遷移訓(xùn)練等策略改進了更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-convolutional neural network,R-CNN)[13]模型進行SAR圖像艦船檢測。胡昌華等[14]通過重新設(shè)計底層殘差單元與特征金字塔的網(wǎng)絡(luò)結(jié)構(gòu),提出了一種基于改進的一見傾心版本3(you only look once v3 version,散YOLOv3)的SAR圖像艦船檢測模型。Wang等[15]提出了一種基于RetinaNet的艦船檢測模型。楊龍等[16]提出一種基于深層次多尺度特征融合的卷積神經(jīng)網(wǎng)絡(luò)艦船檢測模型。Cui等[17]提出了一種基于CenterNet的大規(guī)模SAR圖像船舶檢測方法,能實現(xiàn)大尺度SAR圖像的艦船檢測。Guo等[18]提出了一種有效且穩(wěn)定的單級檢測器,能實現(xiàn)較高精度的SAR 圖像艦船檢測,且時間成本的增加可忽略。然而,現(xiàn)有基于深度學(xué)習(xí)的SAR圖像艦船檢測方法仍存在一些問題:

1)模型參數(shù)冗余。現(xiàn)有算法一般采用較為復(fù)雜的骨干網(wǎng)絡(luò)提取SAR圖像特征。然而,不同于光學(xué)圖像,SAR圖像不包含豐富的色彩信息,引入復(fù)雜的網(wǎng)絡(luò)對SAR圖像檢測可能不會帶來更多助益,反而將導(dǎo)致模型體積及參數(shù)量龐大。同時,現(xiàn)有數(shù)據(jù)集的量不足,采用大型模型易出現(xiàn)過擬合問題。

2)需要額外后處理。現(xiàn)有基于深度學(xué)習(xí)的SAR圖像艦船檢測方法主要采用基于錨框的思想。這種基于密集錨框的方法并不適用于目標稀疏、正負樣本極不均衡的SAR艦船圖像,因為需消耗大量的計算資源進行后處理以去除重疊的候選框。

3)訓(xùn)練樣本單一稀缺。深度學(xué)習(xí)算法需要大量且復(fù)雜多樣的訓(xùn)練樣本,國內(nèi)外常用于艦船檢測的公開數(shù)據(jù)集,如AIR-SARShip-1.0[19]等,存在背景較為單一和訓(xùn)練樣本匱乏等缺點,訓(xùn)練的模型泛化能力較差,難以適用于更加復(fù)雜的場景。

針對上述問題,本文提出了基于改進CenterNet的輕量級無錨框SAR圖像艦船檢測的模型,即CenterNet SAR(CenterSAR)。與基于錨框的目標檢測方法相比,該方法的檢測性能更優(yōu)、實用性更強。其次,為減小模型體積,降低模型參數(shù),結(jié)合SAR圖像特點采用了更加輕量化的骨干網(wǎng)絡(luò),即采用跨階段局部網(wǎng)絡(luò)(cross stage partial network,CSPNet)[20]與空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling,SPP)[21]作為瓶頸網(wǎng)絡(luò)。最后,為解決SAR圖像訓(xùn)練樣本有限、場景復(fù)雜多變及目標姿態(tài)不一等問題,采用了一系列適用于SAR圖像的數(shù)據(jù)增強方法。實驗結(jié)果表明,本文所提方法能夠在復(fù)雜多樣的場景下取得較好的艦船檢測性能,并且其高效的檢測性能和輕量化的設(shè)計有助于實現(xiàn)終端部署和實時檢測。

1 適用SAR艦船圖像的數(shù)據(jù)增強

SAR成像和光學(xué)成像差異較大,導(dǎo)致SAR圖像存在表征不直觀、背景雜波不均勻和相干斑噪聲強等特點。其次,SAR圖像中目標姿態(tài)大小不一,同一目標在不同分辨率和不同角度的圖像中具有明顯的差異,不利于檢測模型的訓(xùn)練。此外,基于深度學(xué)習(xí)的目標檢測模型參數(shù)量較多,需大量的訓(xùn)練樣本數(shù)據(jù)作為支撐,而SAR圖像相較于光學(xué)圖像較難獲得,樣本容量的不足容易導(dǎo)致嚴重的模型過擬合等問題。鑒于上述問題,直接將基于光學(xué)圖像的檢測方法應(yīng)用于SAR圖像目標檢測時,容易存在檢測框偏移較大、識別準確率較低等問題,因此需要針對SAR圖像的特性進行相關(guān)預(yù)處理。

本文采用了一系列適用于SAR圖像的數(shù)據(jù)增強技術(shù)以豐富訓(xùn)練樣本[22],通過對原始訓(xùn)練數(shù)據(jù)采用一系列變換以擴充模型訓(xùn)練空間,增加模型的魯棒性和泛化性,同時減少模型過擬合。主要包括隨機多尺度縮放、翻轉(zhuǎn)、隨機小角度旋轉(zhuǎn)和填充等,如圖1所示。隨機多尺度縮放主要包括一定范圍內(nèi)的圖像縮放,由于SAR圖像中艦船目標一般較小,對圖像進行適當放大可以更有效地提取目標特征。隨機翻轉(zhuǎn)主要包括隨機水平翻轉(zhuǎn)與隨機垂直翻轉(zhuǎn)。隨機小角度旋轉(zhuǎn)主要包括逆時針5°以內(nèi)的隨機旋轉(zhuǎn)變換,而SAR圖像散射特性在5°內(nèi)是近似保持不變的,同時還能提高訓(xùn)練樣本的多樣性[23]。經(jīng)過變換后的圖像尺寸大小可能改變,在最后增加一層填充層以保證所有輸入圖像具有固定的大小,同時有助于模型進行多尺度訓(xùn)練。其次,本文通過引入隨機因子,使得增強的數(shù)據(jù)更具有多樣性。最后的填充層使得所有輸入圖像可進行任意尺度的縮放并保證最后輸入模型的圖像大小一致,從而提高模型的泛化能力。

圖1 數(shù)據(jù)增強示意Fig.1 Data enhancement diagram

2 改進的CenterNet模型

本文將用于光學(xué)圖像目標檢測的CenterNet[24]引入SAR圖像目標檢測,提出一種改進的CenterNet模型。CenterNet不需要事先針對不同種類目標設(shè)計各種尺寸的錨框用以提取目標特征,能降低網(wǎng)絡(luò)復(fù)雜度并減少不必要的參數(shù)。CenterNet包含用于特征提取的骨干網(wǎng)絡(luò)以及用于中心預(yù)測、寬高回歸、偏移校正的3個子網(wǎng)絡(luò),能夠輸出相應(yīng)大小的預(yù)測框來實現(xiàn)目標的檢測。因此,本文設(shè)計了適用于SAR圖像艦船檢測的深度神經(jīng)網(wǎng)絡(luò),即CenterSAR。

CenterSAR采用了端到端的設(shè)計,其模型結(jié)構(gòu)如圖2所示,主要包含全卷積網(wǎng)絡(luò)和目標檢測網(wǎng)絡(luò)。全卷積網(wǎng)絡(luò)由用于特征提取的骨干網(wǎng)絡(luò)、特征融合的瓶頸網(wǎng)絡(luò)和特征采樣的反卷積網(wǎng)絡(luò)組成。與CenterNet一致,目標檢測網(wǎng)絡(luò)由中心預(yù)測、寬高回歸、偏移校正3個子網(wǎng)絡(luò)構(gòu)成,用于從低分辨率特征圖中提取檢測框信息,從而實現(xiàn)定位艦船目標。

圖2 CenterSAR模型結(jié)構(gòu)Fig.2 CenterSAR model structure

2.1 全卷積網(wǎng)絡(luò)

本文設(shè)計了一個編碼器-瓶頸-解碼器結(jié)構(gòu)的全卷積網(wǎng)絡(luò)。編碼器以殘差網(wǎng)絡(luò)(residual network,ResNet)[25]作為骨干網(wǎng)絡(luò)用于提取圖像特征,并設(shè)計了CSPNet網(wǎng)絡(luò)[20]與SPP[21]網(wǎng)絡(luò)作為瓶頸(neck)網(wǎng)絡(luò)用于增強模型的特征提取能力,解碼器則由反卷積網(wǎng)絡(luò)(deconvolution network)堆疊組成。給定采樣步長R,該網(wǎng)絡(luò)能提取SAR圖像的高階特征,并進行下采樣獲得低分辨率特征圖。

2.1.1 特征提取骨干網(wǎng)絡(luò)

特征提取主要利用深度網(wǎng)絡(luò)對圖像中淺層位置信息和高層語義信息進行提取,然后根據(jù)目標特性對所提取的特征進行處理。主要目的是加強對SAR圖像中隱藏信息的利用,減少SAR圖像中干擾的影響,從而提高艦船目標的檢測精度。骨干網(wǎng)絡(luò)的設(shè)計需要由一定深度的卷積神經(jīng)網(wǎng)絡(luò)堆疊組成,然而卷積神經(jīng)網(wǎng)絡(luò)存在隨著網(wǎng)絡(luò)深度的增加而出現(xiàn)梯度消失和權(quán)重衰減等退化問題。殘差網(wǎng)絡(luò)ResNet的提出能有效解決網(wǎng)絡(luò)深度帶來的問題,十分適合作為提取圖像特征的骨干網(wǎng)絡(luò),因此在諸多任務(wù)中被廣泛使用。不同于光學(xué)圖像,SAR圖像不包含豐富的彩色信息,網(wǎng)絡(luò)過深對SAR圖像目標檢測不會帶來優(yōu)勢,反而會增加額外的參數(shù)量及引起過擬合問題。為此,本文采用較淺的殘差網(wǎng)絡(luò)ResNet-18作為SAR圖像特征提取的骨干網(wǎng)絡(luò)。

圖3為ResNet-18網(wǎng)絡(luò)的結(jié)構(gòu)圖,卷積層之間的曲線為跳層殘差連接。其中,實線表示恒等殘差連接,用于通道數(shù)相同的卷積層之間,虛線表示變換殘差連接,用于通道數(shù)不同的卷積層之間,需要引入額外的卷積層進行變換。輸入可以通過跨層的殘差連接與經(jīng)過激活后的輸出相加,使得輸入可以更快地向前傳播,從而加快模型訓(xùn)練過程的收斂。ResNet網(wǎng)絡(luò)包含5個卷積組,第1個卷積組包含1個7×7卷積層,其余4個卷積組由一定數(shù)量的殘差塊構(gòu)成。每個卷積組中包含1次下采樣操作,使得特征圖尺寸大小減半,因此ResNet網(wǎng)絡(luò)的各種經(jīng)典結(jié)構(gòu)(如ResNet-18、ResNet-34、ResNet-50和ResNet-101)都包含5次下采樣操作,從而使得ResNet網(wǎng)絡(luò)輸出的特征圖尺寸(分辨率)是輸入圖像尺寸(分辨率)1/32。對于ResNet-18,殘差塊里包含2個具有相同輸出通道數(shù)的3×3卷積層,每個卷積層后接一個批量歸一化層和ReLU激活層。殘差塊的設(shè)計要求卷積層的輸入與輸出具有相同的形狀和通道數(shù),如果想改變通道數(shù),就需要引入一個額外的1×1卷積層將輸入變換成相同通道數(shù)后再進行殘差連接。

圖3 ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 ResNet-18 network structure

2.1.2 特征融合瓶頸網(wǎng)絡(luò)

瓶頸(neck)網(wǎng)絡(luò)位于模型頸部,是目標檢測網(wǎng)絡(luò)中承上啟下的關(guān)鍵部分,它對骨干網(wǎng)絡(luò)提取的重要特征進行特征融合后再加工應(yīng)用,有利于下一步網(wǎng)絡(luò)的任務(wù)學(xué)習(xí)。本文設(shè)計的瓶頸網(wǎng)絡(luò)由CSPNet與SPP 2個模塊組成,如圖4(a)和圖4(b)所示。

CSPNet設(shè)計的主要目的是使該架構(gòu)能夠達到更豐富的梯度組合,同時能減少計算量。該目標是通過將輸入層的特征圖劃分為2部分,然后通過提出的跨階段分層結(jié)構(gòu)將它們合并來實現(xiàn)。CSPNet首先將輸入層的特征圖平均劃分為2部分,分別經(jīng)過一系列局部卷積層,然后其中一部分特征則經(jīng)過設(shè)計好的隱藏層網(wǎng)絡(luò)(如殘差塊)進行特征提取,最后通過過渡連接層將2部分輸出進行跨階段連接合并。相比于直接將特征圖輸入到隱藏層網(wǎng)絡(luò)中進行計算,CSPNet僅輸入特征圖的一部分,能顯著減少運算量以及內(nèi)存消耗,并且分階段卷積和合并的操作能夠進一步增強網(wǎng)絡(luò)的學(xué)習(xí)能力。

SPP是一種特征金字塔網(wǎng)絡(luò),采用4種不同尺寸(1×1、5×5、9×9、13×13)最大池化操作來提取不同尺度的特征,并對4種池化采用不同的步長和填充方式以保證提取的特征圖大小一致,然后將提取的特征圖進行特征融合操作。由于SPP僅有運算簡單的池化操作,不包含可訓(xùn)練權(quán)重參數(shù)。因此,引入SPP模塊并不會影響檢測模型的復(fù)雜度,同時還能增強網(wǎng)絡(luò)的特征提取能力。

2.1.3 特征采樣網(wǎng)絡(luò)

經(jīng)過骨干網(wǎng)絡(luò)的特征提取和瓶頸網(wǎng)絡(luò)的特征融合,獲得一個尺寸較小的低分辨率特征圖。為了進一步利用輸入圖像的特征圖進行目標檢測任務(wù),需要設(shè)計一個解碼器對提取的特征圖尺寸進行擴大處理,實現(xiàn)圖像由低分辨率到高分辨率的映射,即上采樣(upsampling)操作。現(xiàn)有上采樣方法主要包括雙線性插值、反池化和反卷積。前2種方法不包含可訓(xùn)練參數(shù),無法隨著網(wǎng)絡(luò)訓(xùn)練進行適應(yīng)性調(diào)整,因此本文采用反卷積作為上采樣網(wǎng)絡(luò)[26]。該操作能夠抑制SAR圖像噪聲,加強圖像表征能力,對圖像的細致結(jié)構(gòu)進行最大限度的恢復(fù)。

本文設(shè)計的解碼器主要包含3個反卷積模塊,每個模塊由可變形卷積層、批歸一化層、ReLU激活層、反卷積層、批歸一化層、ReLU激活層依次連接構(gòu)成。加入正向卷積層的作用是對反卷積從邊緣像素中學(xué)習(xí)到的特征作進一步提取,以保證網(wǎng)絡(luò)對圖像噪聲的魯棒性。如果區(qū)域之間差異很大(如海洋和陸地),由于標準卷積操作固有的對稱幾何結(jié)構(gòu),卷積操作對于大尺度和未知形狀的艦船將難以學(xué)習(xí)到圖像的空間依賴性,從而導(dǎo)致該層學(xué)習(xí)的特征表示較弱。因此,本文選擇可變形卷積[27-28]替代標準卷積操作。將可變形卷積應(yīng)用于SAR圖像艦船檢測,能較好地對復(fù)雜場景下不同類型區(qū)域進行特征提取,從而獲取包含艦船目標的區(qū)域。

2.2 目標檢測網(wǎng)絡(luò)

本文設(shè)計的目標檢測網(wǎng)絡(luò)由中心預(yù)測網(wǎng)絡(luò)、偏移校正網(wǎng)絡(luò)和寬高回歸網(wǎng)絡(luò)等3個子網(wǎng)絡(luò)組成。

2.2.1 中心預(yù)測網(wǎng)絡(luò)

中心預(yù)測網(wǎng)絡(luò)由2層卷積層與1層ReLU激活層組成,將全卷積網(wǎng)絡(luò)得到的采樣特征圖作為輸入,最后再經(jīng)過一層Sigmoid激活函數(shù)變換將網(wǎng)絡(luò)的輸出元素值映射至[0,1]。中心預(yù)測網(wǎng)絡(luò)的預(yù)測目標是1個二維矩陣,稱之為熱圖。熱圖中元素值為1的位置表示該點存在目標,同時熱圖上圍繞該位置的一定范圍的元素值以高斯函數(shù)形式分布為:

(1)

2.2.2 偏移校正網(wǎng)絡(luò)

2.2.3 寬高回歸網(wǎng)絡(luò)

2.3 損失函數(shù)

上述3個子網(wǎng)絡(luò)主要起到分類、偏移校正和預(yù)測框回歸的作用,因此需要設(shè)計3種不同的損失對模型進行訓(xùn)練。給定SAR圖像中預(yù)先標注的N個目標中心點p0,p1,…,pN,目標中心點的分類損失Lk采用焦點損失(focal loss),即:

Lk=

(2)

由于關(guān)鍵點對位置非常敏感,為了得到更準確的結(jié)果,加入了偏移量損失Loff對目標關(guān)鍵點位置進行校正。本文采用L1距離作為損失函數(shù)為:

(3)

對于寬高回歸網(wǎng)絡(luò)預(yù)測輸出的檢測框尺寸,本文同樣采用L1距離作為損失函數(shù)對檢測框?qū)捀哌M行回歸:

(4)

因此,本文模型的總損失為3部分損失的加權(quán)和:

L=Lk+λoffLoff+λsizeLsize

(5)

式中:λoff與λsize均為超參數(shù),用于控制對應(yīng)部分損失的權(quán)重大小。根據(jù)經(jīng)驗,本文中均設(shè)置為0.5。

3 實驗驗證與性能分析

3.1 實驗設(shè)置

為了驗證本文所提方法的艦船檢測性能,本文使用電子科技大學(xué)韋順軍團隊構(gòu)造的HRSID(high resolution SAR images dataset)數(shù)據(jù)集[29]進行實驗。該數(shù)據(jù)集借鑒微軟COCO(common objects in context)[30]數(shù)據(jù)集的構(gòu)建過程,在25%重疊率的情況下,將136個全景SAR圖像(分辨率1～5 m)裁剪為800像素×800像素的SAR圖像。該數(shù)據(jù)集包含5 604 張不同分辨率、極化、海域和沿海港口的SAR艦船圖像及16 951個艦船實例。其中,訓(xùn)練集和測試集分別有3 642張和1 962張SAR圖像。

硬件平臺采用CPU為Intel i9-9900X,GPU為NVIDIA RTX 2080 Ti,操作系統(tǒng)為Ubuntu18.04的計算機,軟件框架為PyTorch[31],并采用CUDA10.1對所有模型進行訓(xùn)練和測試階段的加速。利用現(xiàn)有的目標檢測方法進行對比,主要包括更快R-CNN (Faster R-CNN)[13]、掩膜R-CNN(Mask R-CNN)[32]、級聯(lián)Mask R-CNN(Cascade Mask R-CNN)[33]、RetinaNet[34]、全卷積單階段目標檢測(fully convolutional one-stage object detection,FCOS)[35]等模型。根據(jù)文獻[29]的實驗設(shè)置,本文采用了ResNet-50和ResNet-101結(jié)合特征金字塔網(wǎng)絡(luò)(ResNet-FPN)[36]作為對比模型的骨干網(wǎng)絡(luò)。訓(xùn)練優(yōu)化器為隨機梯度下降(stochastic gradient descent, SGD)法,動量和學(xué)習(xí)率分別為0.9和0.002 5,權(quán)重衰減因子為0.000 1,共計訓(xùn)練12輪次。而本文所提的CenterSAR模型采用Adam作為優(yōu)化器,初始學(xué)習(xí)率設(shè)為0.000 1,分別使用ResNet-18與ResNet-34作為骨干網(wǎng)絡(luò)提取特征,其余參數(shù)設(shè)置與對比模型一致。在訓(xùn)練過程中,所有方法均使用了本文所提的隨機數(shù)據(jù)增強操作,同時訓(xùn)練時輸入圖像尺寸調(diào)整為1 000像素×1 000像素。

初始訓(xùn)練時,所有模型使用較低學(xué)習(xí)率進行學(xué)習(xí)防止梯度爆炸,隨后使用正常學(xué)習(xí)率進行訓(xùn)練。為確保模型收斂到較好的位置,使用余弦周期函數(shù)對各種方法的學(xué)習(xí)率進行周期性衰減。測試階段,基于錨框的算法(RetinaNet、Faster R-CNN、Mask R-CNN及Cascade Mask R-CNN)使用的交并比(intersection over union, IoU)閾值為0.7;無錨框檢測算法FCOS選取置信度大于0.6的預(yù)測框作為預(yù)測結(jié)果;本文CenterSAR在推理階段中心預(yù)測網(wǎng)絡(luò)輸出熱圖,首先在熱圖上選擇100個候選中心點,然后根據(jù)每個中心點對應(yīng)存在目標的置信度進行篩選,將置信度低于0.5的中心點對應(yīng)的預(yù)測結(jié)果去除,保留置信度較高的中心點對應(yīng)的預(yù)測框。

3.2 數(shù)據(jù)增強結(jié)果

實驗中,訓(xùn)練樣本首先在{800×800, 900×900, 1 000×1 000, 1 100×1 100}像素范圍內(nèi)隨機選取尺寸進行縮放,然后進行水平或垂直翻轉(zhuǎn)及5°內(nèi)小角度旋轉(zhuǎn),最后對變換后的圖像進行填充保持輸入圖像大小一致。本文按照該方式,通過增加模型訓(xùn)練迭代次數(shù),訓(xùn)練樣本能得到很大程度的擴充。為驗證所提數(shù)據(jù)增強方法的效果,對單獨使用不同數(shù)據(jù)增強方法的CenterSAR模型進行了實驗,并對4種增強方法綜合使用(本文操作)進行對比。實驗結(jié)果如表1所示,采用的骨干網(wǎng)絡(luò)為 ResNet-18。其中,AP50和AP75表示IoU閾值分別為0.5和0.75時目標的平均檢測精度,AP表示IoU閾值為 [0.5∶0.05∶0.95]時目標的平均精度,APs表示小型目標(面積小于32×32像素)的平均檢測精度,APm表示中型目標(面積位于32×32像素到96×96像素之間)的平均檢測精度,APl表示大型目標(面積大于96×96像素)的平均檢測精度。

由表1可發(fā)現(xiàn),不同的數(shù)據(jù)增強方法都能較大程度地提升模型的檢測精度,其中以隨機縮放對模型性能的提升最為明顯。根據(jù)表1中APs、APm和APl的結(jié)果,可以發(fā)現(xiàn)隨機縮放數(shù)據(jù)增強方法顯著提高了模型對各個尺度艦船的檢測精度。此外,隨機翻轉(zhuǎn)和隨機旋轉(zhuǎn)也從不同程度上提升了模型檢測效果,各種指標都超過了未使用數(shù)據(jù)增強方法的模型檢測效果。當模型綜合4種數(shù)據(jù)增強方法時,AP50能夠達到90.1%,優(yōu)于單獨使用任一數(shù)據(jù)增強方法的性能表現(xiàn),從而驗證了本文將4種數(shù)據(jù)增強方法進行綜合使用的有效性。

3.3 目標檢測結(jié)果

表2為采用不同目標檢測模型獲得的實驗結(jié)果。由表2可知,本文基于ResNet-18與ResNet-34的CenterSAR模型性能優(yōu)于大部分對比模型,分別在AP50時達到90.1%與90.0%的檢測精度,僅低于使用ResNet-50+FPN和ResNet-101+FPN作為骨干網(wǎng)絡(luò)的FCOS模型。根據(jù)APs和APl的結(jié)果,本文所提的CenterSAR分別以67.3%和30.0%的檢測精度取得了更好的性能表現(xiàn),并且APm的結(jié)果也僅略微差于最優(yōu)的檢測模型Cascade Mask R-CNN,說明本文所提的CenterSAR模型能有效提取艦船目標的中心點,從而使得模型在多尺度艦船目標上具有更好的檢測精度。此外,由表2可發(fā)現(xiàn),當IoU閾值較小時(即AP50),基于無錨框的檢測算法FCOS與CenterSAR檢測性能較好;當IoU閾值提高,檢測指標更為苛刻時(即AP75),基于錨框的檢測算法Faster R-CNN及其變體Mask R-CNN和Cascade Mask R-CNN則取得更好的表現(xiàn)。其主要原因可能是基于錨框的算法能生成大量候選預(yù)測框,因此非極大抑制處理后的預(yù)測框質(zhì)量較高。而無錨框的檢測算法直接對預(yù)測框位置進行生成回歸,因此預(yù)測框位置精確性不如基于錨框的算法。由表2還可發(fā)現(xiàn),采用更深的骨干網(wǎng)絡(luò)對于所有目標檢測模型帶來的提升并不大,甚至在部分情況下導(dǎo)致檢測性能下降。這也說明了SAR圖像與光學(xué)圖像的差異性,即SAR圖像不包含豐富的彩色信息,采用一定深度的網(wǎng)絡(luò)即能充分提取SAR圖像的特征,更深的網(wǎng)絡(luò)反而帶來負效益,從而降低模型運行效率。

表2 目標檢測結(jié)果對比Table 2 Comparison of the target detection results %

圖5展示了基于不同模型的檢測方法在遠近海簡單場景下的艦船目標檢測結(jié)果,其中綠色框表示數(shù)據(jù)集中艦船目標的真實檢測框,紅色框表示不同方法的預(yù)測檢測框。在遠海場景下,由于背景較為純凈,雖然受到海面雜波的干擾,但艦船目標較為明顯,因此各種方法都能較好地檢測出艦船目標,基本沒有出現(xiàn)漏檢現(xiàn)象。在近海場景下,如圖5(b)、(d)、(f)和(h) 所示,基于錨框的檢測算法在SAR圖像目標檢測中逐漸出現(xiàn)了不同程度的虛警,將沿岸礁石檢測為艦船目標。相反,如圖5(j)和(l)所示,無錨框的檢測算法FCOS與本文所提CenterSAR方法則不受沿海礁石的影響,仍然能夠準確地檢測艦船目標,而且未出現(xiàn)虛警現(xiàn)象。

圖5 遠近海簡單場景下基于不同模型檢測方法的結(jié)果Fig.5 Results of the detection methods based on the different models in the simple scenarios of the far and near seas

圖6為基于不同預(yù)測模型的檢測方法在復(fù)雜場景下艦船目標檢測結(jié)果,包括沿岸和港口場景。可發(fā)現(xiàn),基于錨框的Faster R-CNN算法受到陸面區(qū)域的影響導(dǎo)致檢測性能較差,不僅存在較嚴重的漏檢現(xiàn)象(圖6(a)),同時在針對多艦船小目標檢測存在虛警(圖6(b))。雖然Mask R-CNN與Cascade Mask R-CNN檢測性能優(yōu)于Faster R-CNN,漏檢情況較少,但是虛警目標仍然較多。基于錨框的RetinaNet算法的檢測性能較差,在復(fù)雜場景下存在較為嚴重的漏檢情況。無錨框檢測算法FCOS與本文CenterSAR比較類似,都具有較好的檢測性能,并且相較于基于錨框的算法存在較少的虛警目標。其中,本文CenterSAR的檢測性能更優(yōu)于FCOS,針對復(fù)雜的多目標場景能夠檢測到更多的艦船目標(圖6(l))。上述實驗結(jié)果表明,基于錨框的方法容易產(chǎn)生大量重疊的檢測框,雖然在SAR圖像中能夠定位艦船目標,但同時也容易存在大量虛警。相比之下,本文所提的CenterSAR算法能夠在各種場景下準確檢測艦船目標,僅僅出現(xiàn)了少量虛警及漏檢目標,從而說明了本文所提的CenterSAR算法在艦船目標檢測任務(wù)中具有良好性能和優(yōu)越性。

圖6 復(fù)雜場景下基于不同模型檢測方法的結(jié)果Fig.6 Results of the detection methods based on the different models in the complex scenes

3.4 模型大小與運行速度

圖7給出了基于不同模型檢測方法的模型大小(MB)和運行時間(s)對比。其中,模型大小主要取決于訓(xùn)練的參數(shù)量,運行速度主要是檢測單張SAR圖像所需的平均時間。在運行速度方面,雙階段檢測方法Faster R-CNN、Mask R-CNN和Cascade Mask R-CNN由于需要先對圖像提取候選框,然后基于候選區(qū)域做二次修正得到預(yù)測結(jié)果,雖然檢測精度較高,但是檢測耗時也比較長。單階段檢測方法RetinaNet和CenterSAR直接對輸入圖像進行計算生成檢測結(jié)果,因此具有較快的檢測速度。

圖7 不同模型參數(shù)量與運行時間對比Fig.7 Comparison of the different model parameters and running time

本文所提CenterSAR方法是一種基于目標關(guān)鍵點的單階段檢測方法,由于不需要額外的后處理以去除大量的重復(fù)錨框,因此檢測速度遠高于其他對比方法(含RetinaNet),單張SAR圖像檢測的平均耗時最少僅需0.024 s(ResNet-18)。在模型大小方面,現(xiàn)有的目標檢測方法都依賴于復(fù)雜的骨干網(wǎng)絡(luò)提取圖像特征,且融合了特征金字塔網(wǎng)絡(luò)FPN對圖片進行多尺度變化增強以更好地檢測小目標。然而這不僅帶來了極大的計算量,同時還大大增加了模型的參數(shù)量。相比之下,本文的CenterSAR使用了更加輕量化的設(shè)計。當采用 ResNet-18作為骨干網(wǎng)絡(luò)時,模型大小僅為36.3 MB,檢測耗時僅為0.024 s,在保證檢測精度的同時,提高了檢測效率。當骨干網(wǎng)絡(luò)的層數(shù)加深,即采用ResNet-34時,本文的CenterSAR在檢測精度上有略微提升,但犧牲了一定的檢測效率且增加了模型參數(shù)量。因此,考慮到實際應(yīng)用對于模型性能的需求,采用ResNet-18作為本文CenterSAR模型的骨干網(wǎng)絡(luò)是更好的選擇。

3.5 消融實驗結(jié)果

為了驗證所提CenterSAR中CSPNet和SPP[37]網(wǎng)絡(luò)對最終目標檢測性能的影響,在HRSID數(shù)據(jù)集上進行消融實驗以分析CSPNet和SPP網(wǎng)絡(luò)的有效性。消融實驗結(jié)果如表3所示。第1組為以ResNet-18為骨干網(wǎng)絡(luò)的CenterNet模型,第2組為在第1組基礎(chǔ)上融合了CSPNet的CenterNet模型,第3組為在第1組基礎(chǔ)上融合了SPP網(wǎng)絡(luò)的CenterNet模型,第4組為在第1組基礎(chǔ)上融合了CSPNet和SPP網(wǎng)絡(luò)的CenterNet模型,即本文所提的CenterSAR。與第1組相比,融合了CSPNet的CenterNet模型的AP50達到了89.1%,使得其檢測精度提高了0.4%,而模型大小降低到39.7 MB,檢測耗時降低到0.028 s。因為采用跨階段的分割與合并策略,增強了骨干網(wǎng)絡(luò)的學(xué)習(xí)能力,降低了模型參數(shù)量和消除了計算瓶頸,從而提高檢測精度和檢測效率。據(jù)APs、APm和APl的結(jié)果可以發(fā)現(xiàn),融合了CSPNet的CenterNet模型在一定程度上提高了不同尺度目標的檢測精度。與第1組相比,融合了SPP網(wǎng)絡(luò)的CenterNet模型的AP50達到了89.5%,使得其檢測精度提高了0.8%,而模型參數(shù)降低到40.2 MB,運行速度降低到0.031 s。說明融合SPP網(wǎng)絡(luò)使模型能更好地獲得豐富的局部特征信息,對模型整體檢測性能的提升有一定的影響,在一定程度上降低了模型參數(shù)大小和減少了計算量,從而提高檢測精度和檢測效率。據(jù)APs、APm和APl的結(jié)果可以發(fā)現(xiàn),融合了SPP網(wǎng)絡(luò)的CenterNet模型在顯著提高了不同尺度目標的檢測精度,從而適用于SAR圖像多尺度艦船目標檢測。與前3組相比,本文所提的CenterSAR融合了CSPNet和SPP網(wǎng)絡(luò),其檢測性能獲得最優(yōu),AP50達到了90.1%,而模型參數(shù)降低到36.3 MB,運行速度降低到0.024 s。主要原因是該模型繼承了ResNet、CSPNet和SPP網(wǎng)絡(luò)優(yōu)勢,提升了骨干網(wǎng)絡(luò)學(xué)習(xí)能力和局部特征提取能力,通過對骨干網(wǎng)絡(luò)提取重要特征并進行特征融合,從而進一步提高目標檢測精度和檢測效率。

表3 CSPNet和SPP消融實驗結(jié)果Table 3 Ablation experimental results of the CSPNet and SPP

3.6 骨干網(wǎng)絡(luò)對比

為探討不同骨干網(wǎng)絡(luò)對 CenterSAR 性能的影響,分別使用層數(shù)更深的ResNet-50、ResNet-101以及更加輕量化的MobileNet[38]作為CenterSAR的骨干網(wǎng)絡(luò),在HRSID數(shù)據(jù)集上進行實驗對比。

表4為使用不同骨干網(wǎng)絡(luò)的CenterSAR模型的對比結(jié)果,包括模型參數(shù)量、運行速度與檢測精度。可以發(fā)現(xiàn),使用更深的 ResNet(如ResNet-50與ResNet-101),CenterSAR的檢測性能存在嚴重的下降,AP相比于ResNet-18降低了6.3%。使用更深的骨干網(wǎng)絡(luò)造成了CenterSAR對各種尺度艦船目標檢測性能受到嚴重影響,尤其是針對大型艦船目標的檢測,APl降低了14.6%,這也說明了SAR圖像與光學(xué)圖像存在差異,使用更深的網(wǎng)絡(luò)對于圖像特征提取并不會帶來優(yōu)勢,反而導(dǎo)致模型性能的降低。此外,更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)還造成了模型參數(shù)和運行時間的大大增加,使用ResNet-101作為骨干網(wǎng)絡(luò)的 CenterSAR參數(shù)量達到259.1 MB,運行時間達到了 0.086 s,使得本文所提的CenterSAR方法逐漸失去在模型大小和運行速度上的優(yōu)勢。

表4 基于不同骨干網(wǎng)絡(luò)的CenterSAR模型的對比Table 4 Comparison of CenterSAR models based on different backbone networks

由表4還可以發(fā)現(xiàn),使用MobileNet作為骨干網(wǎng)絡(luò)具有輕量化的優(yōu)勢,模型參數(shù)量僅為29.7 MB,并且運行速度為0.022 s,相較于使用ResNet-18的模型更加輕量化與快速。然而,在檢測性能方面,使用MobileNet作為骨干網(wǎng)絡(luò)的CenterSAR模型 AP僅為55.5%,并且在各項檢測指標上都不如使用 ResNet-18作為骨干網(wǎng)絡(luò)的結(jié)果。該實驗結(jié)果表明,盡管MobileNet是一個輕量高效的卷積神經(jīng)網(wǎng)絡(luò),但并不適用于作為提取SAR圖像特征的骨干網(wǎng)絡(luò)。

綜上,本文選擇ResNet-18或ResNet-34作為所提CenterSAR 的骨干網(wǎng)絡(luò)是合理有效的,不僅具有較好的檢測性能,同時在模型大小與運行速度方面也取得了較好的平衡,適用于對模型輕量化程度與運行效率要求較高的嵌入式設(shè)備場景。

3.7 泛化性能分析

為進一步驗證所提方法的泛化性能,額外選取海軍航空大學(xué)發(fā)布的SAR圖像艦船檢測數(shù)據(jù)集(SAR ship detection dataset,SSDD)對本文所提CenterSAR模型進行測試。由于SSDD數(shù)據(jù)集中 SAR 圖像來源與 HRSID 數(shù)據(jù)集類似,直接采用在 HRSID 數(shù)據(jù)集訓(xùn)練所得到的CenterSAR模型在SSDD數(shù)據(jù)集上進行測試,測試結(jié)果如圖8所示。由圖8(a)～(d)可以發(fā)現(xiàn),艦船目標均已被正確檢測,且沒有出現(xiàn)虛警現(xiàn)象,無論是在近海場景或近岸場景中,預(yù)測的檢測框(紅色)與真實的檢測框(綠色)都具有較高的重合度,表明本文CenterSAR具有很好的泛化性能與可靠性。由圖8(b)～(d)可以發(fā)現(xiàn),在近岸場景(尤其是小型艦船場景)中,本文CenterSAR能夠準確無誤地檢測出所有艦船目標,說明本文 CenterSAR 對于多尺度(小型、中型和大型)艦船檢測是有效而穩(wěn)健的。由圖8(e)～(f)可以發(fā)現(xiàn),在復(fù)雜場景(尤其是港口場景)中,艦船目標排列密集,重合度較高,并且陸面區(qū)域干擾影響較大,本文CenterSAR仍能實現(xiàn)較好的檢測性能,能正確檢測沿岸場景中所有艦船目標且未出現(xiàn)虛警現(xiàn)象,僅對港口場景中個別艦船目標出現(xiàn)了虛警現(xiàn)象,這表明本文所提方法具有較好的抗干擾性。值得注意的是,該實驗結(jié)果是CenterSAR在HRSID 訓(xùn)練得到的模型直接遷移至SSDD數(shù)據(jù)集進行檢測得到的,并不需要額外利用SSDD數(shù)據(jù)集進行訓(xùn)練,說明本文所提CenterSAR具有較好的魯棒性和泛化性,有利于遷移到真實場景中進行廣泛應(yīng)用。

圖8 基于SSDD數(shù)據(jù)集的不同場景下艦船檢測結(jié)果Fig.8 Ship target detection results in the different scenarios based on the SSDD dataset

4 結(jié)論

1)本文提出了一種基于改進CenterNet的輕量級無錨框SAR圖像艦船檢測方法(即CenterSAR),著重解決復(fù)雜場景下多尺度艦船檢測的難題,并提高了模型檢測速度和運行效率。

2)本文CenterSAR通過預(yù)測目標關(guān)鍵點信息及檢測框的相關(guān)屬性,以實現(xiàn)艦船目標的檢測,該方法摒棄了現(xiàn)有基于密集錨框生成的思想,從而具有輕量化與高效的優(yōu)勢。此外,該方法采用適用于SAR艦船圖像的數(shù)據(jù)增強方法以擴充訓(xùn)練樣本,并引入多尺度訓(xùn)練以增強模型泛化性能。在公開SAR圖像艦船數(shù)據(jù)集HRSID上的實驗結(jié)果表明,本文的CenterSAR方法對于弱小艦船目標具有較好的檢測能力,能夠準確識別不同尺度的艦船目標。同時,實驗中采用了SSDD數(shù)據(jù)集對本文的CenterSAR的泛化性能進行了驗證。

3)本文的CenterSAR是基于目標關(guān)鍵點的單階段檢測方法,相比于基于錨框的檢測方法更適用于目標稀疏的SAR圖像艦船目標檢測任務(wù),在沿岸和港口等復(fù)雜場景下具有較好的魯棒性。

4)本文CenterSAR采用了輕量化的結(jié)構(gòu)設(shè)計,檢測過程中不需要一系列后處理,在具備較優(yōu)的檢測性能的同時兼具有檢測速度快和模型參數(shù)少的優(yōu)勢,因此在實時性要求較高的終端應(yīng)用場景下具有重要的應(yīng)用價值。