一種針對SAR圖像的船舶目標檢測算法

寧 峰, 趙良軍, 鄭莉萍, 梁 剛, 席裕斌, 何中良

(四川輕化工大學,a.自動化與信息工程學院; b.計算機科學與工程學院,四川 宜賓 643000)

0 引言

伴隨合成孔徑雷達(SAR)技術的不斷發(fā)展,SAR技術在各個領域都有越來越多的應用,目前已經(jīng)成為對海洋船舶觀測的重要手段之一。相較于傳統(tǒng)的光學圖像船舶目標檢測,可見光圖像僅僅能對白天區(qū)域內(nèi)的船舶進行檢測,而SAR圖像可進行全天候、全天時、不受天氣影響的檢測,其效果不受晝夜交換和天氣變化的影響,具有顯著的優(yōu)勢[1]。

由于僅對海洋船舶圖像這一類別進行檢測,因此本文研究會更多地關心細粒度與網(wǎng)絡結構的設計。目前主流的SAR圖像目標檢測方法均為深度學習方法。其中,以SSD[2]、YOLO系列[3-4]為代表的一階段模型以及以Faster R-CNN[5]、Cacade R-CNN[6]算法為代表的深度學習目標檢測模型憑借其高精度、高效率、高魯棒性等優(yōu)點,已在SAR圖像目標檢測中得到廣泛應用。

然而,現(xiàn)有的目標檢測算法對海洋、島礁等的區(qū)分還比較受限,存在以下3個主要缺陷:1) SAR圖像不易區(qū)分海洋、島礁、沿岸港口等,識別難度大;2) 由環(huán)境和地理位置的干擾而引起船舶尺寸和形狀變化較大,使得模型準確率較低;3) 數(shù)據(jù)集中的大船舶模型過少,模型對小目標更靈敏,大船舶檢測不佳。

為克服這些缺點本文提出了Vessel-YOLO模型,該模型是一種改進型的YOLOv8n網(wǎng)絡結構。具體地,首先使用本文提出CASPP(Context-Aware Spatial Pyramid Pooling)模塊,結合了空洞卷積[7],可在不丟失分辨率的情況下擴大卷積核的感受野,提高模型對不同比例船舶的適應程度。此外,本文模型使用了基于動態(tài)非單調(diào)聚焦機制的邊界框損失Wise-IoU[8],相比于CIoU,Wise-IoU提供了更加明智的梯度增益分配策略。實驗結果表明,Vessel-YOLO船舶檢測模型在很大程度上優(yōu)于現(xiàn)有的算法。

在目標檢測的任務中,不同尺度的目標對于深度學習模型來說一直是一大困擾,模型的特征提取很容易因為目標尺度的數(shù)據(jù)量差距過大而導致模型向著某一尺度收斂。王凱等[9]提出改進特征提取網(wǎng)絡,刪除深層次特征層,減少語義丟失現(xiàn)象,來解決這一問題。

1 方法

圖1所示為本文提出的Vessel-YOLO模型總體設計結構。

圖1 Vessel-YOLO模型結構Fig.1 Vessel-YOLO model structure

圖1中,Vessel-YOLO模型以YOLOv8n為基礎模型,主要由3個部分組成:1) 以Darknet-53為基礎,改進了特征金字塔的主干網(wǎng)絡(Backbone);2) 頸部網(wǎng)絡(Neck);3) 檢測部分(Detect)。

在Backbone部分,Vessel-YOLO由Conv模塊、C2f模塊和CASPP上下文空間金字塔池化模塊組成。其中,Conv模塊和C2f采用YOLOv8n相同的結構。 Conv為卷積模塊,封裝了3個功能,包括二維卷積操作(Conv2d)、BN層以及SiLU激活函數(shù);C2f模塊參考了C3模塊以及ELAN的思想進行的設計,在結構上增加了更多的跳層連接與額外的Split操作,讓YOLOv8n可以在保證輕量化的同時獲得更加豐富的梯度流信息。此外,在YOLOv8n的基礎上,Vessel-YOLO模型通過本文提出的 CASPP上下文空間金字塔池化模塊替換YOLOv8n的SPPF模塊,提高了模型的語義感知能力,使模型的精度得到一定的提高。

在模型的Neck部分和Detect部分,Vessel-YOLO與YOLOv8n結構相同。

1.1 CASPP 上下文空間金字塔池化

在主干網(wǎng)絡架構設計之后,本文設計了以ASPP[10]為基礎的CASPP上下文空間金字塔池化模塊,如圖2所示。

圖2 CASPP結構Fig.2 CASPP structure

相較于普通卷積,膨脹卷積引入了一個新的超參數(shù)擴張率(Dilation Rate),該參數(shù)定義了卷積核處理數(shù)據(jù)時各值的間距。圖2中,當卷積核為3×3時,不同擴張率的感受野各不相同,當擴張率為1時,與普通卷積結果相同,卷積后的感受野為3;當擴張率為3時,感受野為7;當擴張率為5時,感受野為11。因此,膨脹卷積可以使模型提取到更大的感受野。

CASPP 模塊首先通過不同擴張率的膨脹卷積獲得不同感受野的上下文信息,3個通道一一對應于3個輸入,再進行加權融合,通過計算加權和將上下文信息聚合到輸出,即在空間和通道的維度上直接添加特征圖。將不同尺度或不同模態(tài)的特征進行加權求和,以獲得更全面和魯棒性的特征顯示。

對于圖像語義信息而言,隨著模型層數(shù)增多,由于小目標尺度小,語義信息在上層即提取完畢。之后隨著層數(shù)繼續(xù)增加,小目標的語義信息也會快速被環(huán)境信息所稀釋;而大目標尺度大,可能要在更高層才能提取到足夠的語義信息,但此時小目標的語義信息已經(jīng)大量丟失。CASPP模塊通過以不同的膨脹卷積率進行膨脹卷積來獲得不同的感受野的上下文信息,提高了模型對不同尺度特征的提取能力,使其對大小目標都能提取到足夠的語義信息,提高了模型的泛化能力。

1.2 損失函數(shù)的計算

由于使用了無錨框思想,YOLOv8n的損失函數(shù)與YOLOv5系列相比有了很大的變化,其主要由分類和回歸兩部分損失組成:分類損失仍然使用二進制交叉熵損失(Binary Cross Entropy Loss,BCL),回歸部分使用分布焦點損失 (Distribution Focal Loss,DFL)和邊界框回歸損失(Bounding Box Regression Loss,BBRL)。由于SAR船舶圖像種類僅1種,因此二進制交叉熵損失即類別損失為0。最終總的損失為兩部分損失通過一定的權重比例之和,總的損失函數(shù)可以表示為

fLoss=λ1fDFL+λ2fBBRL

(1)

式中:λ1、λ2代表權重系數(shù),本文中λ1、λ2均取1;fDFL代表分布焦點損失;fBBRL代表回歸損失。

DFL是對焦點損失函數(shù)的優(yōu)化,通過積分將分類的離散結果推廣為連續(xù)結果。表達式為

fDFL(Si,Si+1)=-((yi+1-y)ln(Si)+(y-yi)ln(Si+1))

(2)

邊界框損失函數(shù)作為目標檢測損失函數(shù)的重要組成部分,其良好的定義將為目標檢測模型帶來顯著的性能提升。近年來的研究大多假設訓練數(shù)據(jù)中的示例有較高的質(zhì)量,致力于強化邊界框損失的擬合能力。但是訓練數(shù)據(jù)中難免包含低質(zhì)量圖像,如距離、縱橫比之類的幾何度量都會加劇低質(zhì)量圖像的誤差,從而使模型的泛化能力下降。好的損失函數(shù)應該在錨框與目標框較好地重合時減少幾何維度的懲罰,不過多地干預訓練結果,使模型具有更好的泛化能力。

由于SAR圖像存在由環(huán)境和地理位置的干擾而引起船舶尺寸和形狀變化較大以及圖像質(zhì)量較低的問題,因此,本文引入了基于 Focal Loss 的Wise-IoU損失函數(shù)的計算方法,通過引入框之間的區(qū)域和權重系數(shù)wi,使得Wise-IoU可以更準確地評估目標檢測結果,避免了傳統(tǒng)IoU的偏差問題,其表達式為

(3)

式中:n為物體框的數(shù)量;bi為第i個物體框的坐標;gi為第i個物體框的真實標注框的坐標;IIoU(bi,gi)為第i個物體框與真實標注框之間的IoU值。

2 實驗與分析

2.1 數(shù)據(jù)集分析

本文使用SAR-Ship-Dataset[11]和SSDD[12]數(shù)據(jù)集訓練和測試船舶檢測模型。訓練過程中使用的SAR-Ship-Dataset數(shù)據(jù)集共43 819幅SAR船舶圖像,本文按7∶3的比例劃分出了訓練集、測試集;SSDD數(shù)據(jù)集則作為模型定量分析的實驗數(shù)據(jù)集。為滿足SSDD與SAR-Ship-Dataset數(shù)據(jù)集格式相同,本文統(tǒng)一將圖像標簽設置為txt的數(shù)據(jù)格式。

通過對SAR-Ship-Dataset數(shù)據(jù)集的圖像進行分析,得到了圖像的如下特點:1) 如圖3(a)所示,只存在1只船舶的圖像數(shù)量最多,其余圖像中平均存在2～3只船舶,也存在少數(shù)圖像包含大量船舶元素,可以看出,船舶空間分布不均衡在檢測含有大量船舶目標的圖像時會出現(xiàn)漏檢現(xiàn)象;2) 如圖3(b)所示,數(shù)據(jù)集中大多數(shù)船舶均為小尺寸目標,也存在有少量的大尺寸船舶目標,即船舶尺寸分布不均衡,檢測大尺寸的船舶目標模型會出現(xiàn)欠擬合現(xiàn)象;3) 如圖3(c)所示,圖像的尺寸以像素為單位,小尺寸船舶占比較多,大型船舶大部分為扁長形;4) 如圖3(d)所示,船舶目標框多為小方型和扁長型且真實框的寬高比率集中在1～2之間。

圖3 數(shù)據(jù)集分析Fig.3 Dataset analysis

2.2 評價指標與實驗詳細信息

為基于驗證數(shù)據(jù)集評估Vessel-YOLO算法在SAR圖像船舶檢測方面的性能,目標檢測通常采用準確率(P)、召回率(R)、平均精度均值(mAP)以及平均召回率(AR)作為評估指標。構成目標檢測評價指標的基本參數(shù)是真陽性(TP)、假陽性(FP)和假陰性(FN)。TP表示預測陽性目標和實際是陽性目標的數(shù)量,即當且僅當Vessel-YOLO準確地檢測并定位船舶目標時,結果才被視為真陽性;FP表示預測陽性目標但實際是陰性目標的數(shù)量;FN表示預測的陰性目標但實際是陽性目標的數(shù)量。

實驗采用YOLOv8n作為基礎組件,首先使用txt格式數(shù)據(jù)集訓練初始化網(wǎng)絡,其次使用batch size為16的SGD優(yōu)化器對模型進行了300輪的訓練。其中,主干網(wǎng)絡的初始學習率設為0.02,動量為0.9。本文實驗均在NVIDIA GeForce RTX 3060Ti GPU上進行。

2.3 與最新技術的比較

表1所示為Vessel-YOLO與各類SAR圖像船舶目標檢測算法的定量比較,本文中,表中加粗數(shù)據(jù)均表示最優(yōu)結果。表1中采用mAP、幀率(FPS)、參數(shù)量(Params)和浮點運算量(FLOPs)作為評價指標。

表1 各類SAR圖像船舶檢測在數(shù)據(jù)集上的表現(xiàn)

具體來說,本文通過分別選取兩階段、一階段的目標檢測模型和SAR圖像船舶目標檢測算法與本算法在開源公共數(shù)據(jù)集SAR-Ship-Dataset和SSDD上進行對比分析。

在兩階段檢測模型中,多數(shù)研究使用Faster R-CNN和 Cascade R-CNN為基準模型進行改進,如CRTransSar以Swin Transfromer為基本框架提出了一種基于上下文聯(lián)合表示學習的主干網(wǎng)絡,但模型體積和參數(shù)量過于龐大。

在一階段檢測模型中,多數(shù)學者受YOLO系列算法的啟發(fā)開始自主實現(xiàn)相關的檢測模型,CRAS-YOLO基于一階段模型思想下構建的網(wǎng)絡模型在小目標檢測任務上都有著出色的表現(xiàn),但整體精度AP0.5∶0.95上并無明顯增長。

根據(jù)表1中的數(shù)據(jù)可得出以下結論:Vessel-YOLO船舶檢測模型在開源數(shù)據(jù)集SAR-Ship-Dataset和SSDD中均表現(xiàn)出色。具體而言,相較于YOLOv8n模型,在SAR-Ship-Dataset數(shù)據(jù)集中,Vessel-YOLO在mAP0.5指標上提升了0.2個百分點,并在mAP0.5∶0.95指標上提升了1.8個百分點,達到了68.6%;在SSDD數(shù)據(jù)集上,兩個模型在mAP0.5方面表現(xiàn)相當,而Vessel-YOLO在mAP0.5∶0.95指標上提升了2.2個百分點,提升到了67.8%。

Vessel-YOLO模型作為一階段的實時檢測模型,在速度上遠高于Cascade R-CNN、CRTransSar等兩階段的模型。在一階段模型中,Vessel-YOLO模型在Params和FLOPs兩個方面的數(shù)據(jù)都處于中等水平。在FPS上,稍弱于目前的較為流行的YOLOv8n模型與YOLOv5n模型,但強于YOLOv7-tiny模型。因此,改進模型在速度上是可滿足實時檢測的。

這些發(fā)現(xiàn)強調(diào)了Vessel-YOLO模型在船舶檢測任務上的優(yōu)秀性能。對于SAR-Ship-Dataset數(shù)據(jù)集,Vessel-YOLO相比于YOLOv8n模型取得了顯著的改進,表明其在處理SAR圖像方面的能力更為出色。而在SSDD數(shù)據(jù)集上,雖然兩個模型在mAP0.5方面表現(xiàn)相似,但在更具挑戰(zhàn)性的mAP0.5∶0.95指標上Vessel-YOLO取得了明顯的提升,這表明其在處理多尺度和大目標檢測方面具有較好的效果。此外,改進方法對模型的參數(shù)、計算量和實時檢測能力的影響較小,改進模型仍然保持了實時檢測的能力。

2.4 對比實驗

為證明Vessel-YOLO船舶檢測模型的有效性與合理性,本文進行了大量的實驗。消融實驗使用的基礎數(shù)據(jù)集是SAR-Ship-Dataset數(shù)據(jù)集。

2.4.1 CASPP 上下文空間金字塔池化

為驗證CASPP模塊在SAR船舶圖像檢測中的貢獻度,本文將其與現(xiàn)在主流的空間金字塔池化模塊SPP、SPPF、SimSPPF[3]、ASPP等進行了對比實驗。表2為不同特征金字塔對精度的影響,展示了不同特征金字塔在SAR-Ship-Dataset數(shù)據(jù)集下的表現(xiàn)。

表2 不同特征金字塔池化對精度的影響

空間金字塔池化(Spatial Pyramid Pooling, SPP) 作為特征提取器,通過在不同層級上構建不同大小的空間子區(qū)域金字塔,實現(xiàn)對不同尺度或大小的圖像進行池化,從而產(chǎn)生固定維數(shù)的輸出。由表2可知,在SAR-Ship-Dataset數(shù)據(jù)集下,本文設計的CASPP上下文空間金字塔池化模塊在SAR圖像船舶檢測任務中具有較好的優(yōu)勢。在mAP0.5指標上,CASPP與SimSPPF相當,高于基準模塊SPPF;且在mAP0.5∶0.95指標上,CASPP相比于基準模塊SPPF提升了1.7個百分點,具有顯著優(yōu)勢。

CASPP模塊通過不同擴張率的膨脹卷積操作獲得不同感受野的上下文信息,并使用加權融合操作將這些信息聚合到輸出中,從而在空間和通道維度上添加特征圖。這樣可以對不同尺度、模態(tài)的特征進行加權求和,得到更全面和魯棒性更強的特征表示。因此,相比于其他金字塔池化模塊,CASPP模塊能夠更好地提取語義特征,增強改進模型Vessel-YOLO在SAR圖像船舶檢測任務中的性能。

2.4.2 Wise-IoU 基于動態(tài)非單調(diào)聚焦機制的邊界框損失

為驗證Wise-IoU模塊在SAR船舶圖像檢測中的貢獻度,本文將Wise-IoU模塊與目前主流的GIoU[15]、 DIoU[16]、CIoU[16]等進行了對比實驗。表3為不同IoU在SAR-Ship-Dataset數(shù)據(jù)集中的表現(xiàn)。

表3 不同IoU對實驗結果的影響

由表3可知,通過測試不同的IoU對初始模型在SAR-Ship-Dataset數(shù)據(jù)集下的表現(xiàn)可知,Wise-IoU表現(xiàn)最優(yōu),在mAP0.5∶0.95指標上相比于基準模型CIoU提升了1.2個百分點。

由于SAR圖像受環(huán)境和地理位置的干擾,船舶尺寸和形狀變化較大,訓練數(shù)據(jù)中難以避免地包含低質(zhì)量圖像。傳統(tǒng)的邊界框損失函數(shù)假設訓練數(shù)據(jù)具有較高的質(zhì)量,強調(diào)對邊界框的擬合能力,但這種假設會導致模型在低質(zhì)量圖像上的泛化能力下降。Wise-IoU損失函數(shù)在錨框與目標框較好地重合時減少幾何維度的懲罰,降低對低質(zhì)量圖像的干預,從而提升模型的泛化能力。因此,本文模型引入Wise-IoU損失函數(shù)是合理的。

2.5 模型效果對比

圖4所示為模型效果對比。

圖4 模型效果對比Fig.4 Model performance comparison

由圖4(a)～4(c)可知,Vessel-YOLO模型在密集、靠岸、復雜的場景中的表現(xiàn)均強于基準模型YOLOv5n和YOLOv8n,這體現(xiàn)了模型對不同場景的適應程度。由圖4(d)～4(f)可知,在小型目標情況下,基準模型與本文模型均表現(xiàn)良好,但在中型與大型目標的情況下,改進模型Vessel-YOLO的效果遠高于基準模型。這是由于CASPP上下文金字塔池化模塊通過以不同的膨脹卷積率進行膨脹卷積來獲得不同的感受野的上下文信息,提高了模型對不同尺度的特征的提取能力,使其具有對大、小型目標都能提取到足夠的語義信息,提升模型的泛化能力。

此外,為了展示模型在語義感知能力方面的優(yōu)勢,本文比較了不同尺度下圖像熱力圖的結果,具體表現(xiàn)在圖4(g)～4(i)中。熱力圖可以顯示出模型在輸入數(shù)據(jù)的不同區(qū)域或特征上的活躍程度,從而反映模型對于不同語義類別的感知能力?？偟膩碚f,通過熱力圖可知,改進模型對于物體邊界、紋理特征的提取更加細致。分別來說,對于小型和中型目標,基準模型和Vessel-YOLO模型的差異較小,兩者都能夠準確地關注到船舶本身。然而,對比大型目標的熱力圖,可以觀察到Vessel-YOLO模型更好地擬合了船舶的形態(tài),進一步驗證了改進模型在大型船舶檢測方面的顯著優(yōu)勢。

3 結束語

本文提出了一種新的細化檢測粒度并增強深淺特征融合的SAR圖像船舶檢測模型Vessel-YOLO,該模型的設計用于不同SAR拍攝場景下船舶的檢測與定位,不受船舶尺度變化和較強噪聲干擾的影響,具有較高的有效性,廣泛的實驗也驗證了本文模型強大的性能。