基于視覺顯著性的SAR遙感圖像NanoDet艦船檢測方法

劉方堅 李 媛

①(中國科學院空天信息創(chuàng)新研究院 北京 100190)

②(北京理工大學機電學院 北京 100081)

1 引言

目前，合成孔徑雷達(Synthetic Aperture Radar,SAR)圖像受到越來越廣泛的關注。因其具有全天時、全天候的工作特性，且不易受天氣變化影響，特別對于變幻莫測的海洋場景具有良好的適應性[1,2]。其應用范圍廣泛，在軍事應用、海洋交通管理、油污勘探以及漁業(yè)管理等領域均發(fā)揮出良好作用[3]。

然而，基于SAR圖像的艦船目標檢測依然面臨很多困難。例如，海浪和雜波產(chǎn)生出較強的回波信號[4]，特別對于小型船只存在較大的干擾問題。并且由于SAR是相干系統(tǒng)，具有斑點噪聲的固有特性。因此，如何減少干擾因素影響是提升檢測精確度的關鍵。同時，隨著技術發(fā)展日益成熟，對圖像處理任務的實時性要求也日漸增高[5]。艦船檢測一般包括圖像預處理、特征提取和模型預測3個主要步驟[6]。在研究早期階段，大多數(shù)方法集中于提升網(wǎng)絡的特征提取能力，旨在通過獲取更多且更精細的特征提升網(wǎng)絡對目標的檢測性能。但不可忽略的是，高質(zhì)量的圖像是獲取良好處理結果的基礎。因此，圖像預處理操作依然十分重要。

由于遙感圖像具有復雜的空間結構和多樣化場景，因此不同圖像需要不同的預處理操作[7,8]，如閾值分割、圖像增強和聚類處理等。而對于艦船目標檢測任務，海面背景下的艦船目標具有顯著特性。因此，降低背景復雜度，提升目標顯著性能夠獲得更優(yōu)質(zhì)的圖像樣本，進而能夠獲取更準確的檢測結果。2007年，侯小迪等人[9]提出了譜殘余(Spectral Residual,SR)顯著性檢測算法，通過將輸入圖像轉(zhuǎn)換的頻譜域進行殘差計算，從而獲取最大變化區(qū)域為顯著性區(qū)域。該方法實現(xiàn)簡單，檢測速度快且效果良好。在文獻[10]中，作者設計了一種上下文感知顯著性探測器(Context-Aware Saliency Detector,CASD)。其設計思想主要考慮到對象上下文特征與對象本身同樣重要。即圖像中的某一特征既要與鄰域特征存在區(qū)別，也要與全局特征存在區(qū)別。該方法對于背景較為復雜的場景具有較好的顯著性檢測效果。同時，Liu等人[11]提出一種新穎的顯著性檢測方法——顯著樹。該方法能夠?qū)^(qū)域和像素級顯著性圖進行分層表示，生成高質(zhì)量的顯著性圖。各類方法有各自的優(yōu)勢，均能夠?qū)υ鰪娔繕颂卣魈峁┮欢ǖ膸椭?/p>

近些年，卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)以其強大的自主學習能力和特征捕獲能力得到了越來越廣泛的關注[12]。現(xiàn)有基于神經(jīng)網(wǎng)絡的目標檢測方法一般可以分為一階段法和兩階段法[13]。其中，兩階段法由兩個級聯(lián)網(wǎng)絡構成，前者用于生成目標候選框，后者判斷是否存在目標。2014年，基于區(qū)域的卷積神經(jīng)網(wǎng)絡方法[13](Regionbased CNN,R-CNN)被提出，首次將深度學習方法引入目標檢測中。相較于Hog特征結合SVM分類器等典型方法，其結果有較大精確度提升。空間金字塔池化網(wǎng)絡[14](Spatial Pyramid Pooling Net,SPPNet)引入了金字塔池化層，以使網(wǎng)絡能夠適應任意尺寸圖像輸入。此后，涌現(xiàn)出許多有效改進算法如Fast RCNN[15],Faster RCNN[16],Mask RCNN[17]以及PANet[18]等，加快了檢測速度，并提升了檢測精確度。2020年，CBNet[19]網(wǎng)絡架構被提出，它通過復合連接多個骨干網(wǎng)絡形成更加強大的復合主干網(wǎng)絡。實驗表明，將其集成到Mask RCNN等網(wǎng)絡中能夠顯著提高檢測性能。

此外，Redmon等人[20]于2016年提出首個一階段目標檢測算法YOLO(You Only Look Once)。它通過將檢測問題轉(zhuǎn)化為回歸分類問題，能夠有效避免生成候選區(qū)域的耗時，大大提升了檢測速度。但同時，放棄候選區(qū)域選取也使檢測精確性在一定程度下降。因此，針對該問題，多種優(yōu)化算法被提出。其中，SSD[21]算法通過提取不同尺度特征圖以及采用不同尺度的先驗框等改進方法，實現(xiàn)了更高的目標檢測性能。同時，改進的YOLOv2—YOLOv4[22–24]系列算法也使目標檢測方法進一步得到發(fā)展。除此之外，2020年Ultralytics等人在YOLOv4的基礎上提出具有更高速度優(yōu)勢的YOLOv5，暫無論文發(fā)表。實驗證明該方法具有與YOLOv4相當?shù)臋z測效果，其檢測速度令人驚艷。

在實際應用過程中，不僅需要高檢測準確度還需要絕對的實時性。因此，輕量化網(wǎng)絡模型成為一大研究熱點。2016年，SqueezeNet[25]小型CNN架構模型被提出，通過壓縮再擴展模塊，有效降低卷積計算量。MobileNet系列將原卷積操作優(yōu)化為深度可分離卷積，提升了卷積計算效率。Shuffle-Net系列則更進一步，提出了通道混洗方法，避免了大量冗余計算。在此基礎上，NanoDet[1]通過集成多種優(yōu)秀輕量化方法得到一個兼顧精度、速度和體積的模型，能夠滿足應用實時性要求。

綜上所述，本文提出一種基于NanoDet和顯著性的SAR圖像艦船檢測方法，如圖1所示。針對復雜背景干擾和檢測耗時問題，提出相應的改進方法。首先，依據(jù)不同場景圖像灰度直方圖特征，通過自動聚類的方式劃分出不同類別，以便可以通過不同操作實現(xiàn)不同類別的針對性預處理，降低方法泛化性要求，以獲得更加精確的處理結果。其次，使用SR和CASD不同顯著性區(qū)域檢測方法獲取顯著性圖像，并與原圖疊加，以增加目標顯著性。最后，將處理后的圖像塊送入調(diào)整后的NanoDet模型進行網(wǎng)絡訓練，以獲取高精確度、近實時的目標檢測模型。

圖1 系統(tǒng)整體流程示意圖Fig.1 Schematic diagram of the overall system process

2 預處理方法實現(xiàn)

本文的預處理模塊主要分為兩部分，依據(jù)各圖像場景特征，完成基于自動聚類的圖像場景類別劃分；利用不同顯著性檢測方法檢測不同類別場景顯著性區(qū)域。通過對圖像樣本進行預處理，實現(xiàn)各場景類別針對性地顯著目標增強，提高了用于艦船檢測任務的圖像樣本質(zhì)量。

2.1 基于密度峰值聚類的場景劃分

自動聚類是一種可用于數(shù)據(jù)類別劃分的簡單、快速、有效的方式。對于SAR圖像，其成像原理使其具有不受云霧干擾的特性，因此其主要場景分為海上場景和近岸場景。同時，SAR圖像灰度信息直接反映了不同物體后向散射強度信息，通常來說表面越粗糙的物體反射強度越大，則圖像中灰度值越高，顏色越亮。海上場景整體灰度值較低，背景灰暗，目標突出；近岸場景因存在較大范圍地物，灰度值高且存在地物紋理特征。因此，將圖像灰度值轉(zhuǎn)化為一維向量并將其作為聚類元素。通過自動聚類算法，依據(jù)不同場景下SAR圖像灰度特征的不同，完成場景類別的劃分。在本文中，聚類處理之前通常將圖像裁切成512×512大小，從而轉(zhuǎn)化成相同維數(shù)的一維向量完成類別劃分。實現(xiàn)過程如圖1紅色虛線框所示。

假設圖像數(shù)據(jù)塊轉(zhuǎn)化的一維向量表示為x[x0,x1,...,xn?1]T，其中n表示圖像塊大小。首先通過曼哈頓距離[26]等距離計算公式完成向量xi和xj的相似度sij計算，表示為

再依據(jù)以上結果計算兩個關鍵因子：各聚類元素的局部密度ρ和到聚類中心距離δ。其中，第i個數(shù)據(jù)點的局部密度ρi為

其中，當m<0時，φ(m)1；當m0時，φ(m)0,c是相似性截止閾值。局部密度ρi被視為與點xi相似的，在c相似度范圍內(nèi)點的數(shù)量。而到聚類中心距離δi表示為點xi與其他密度更高點xj之間的最小距離。

循環(huán)計算所有樣本點向量的局部密度和距離構造決策圖，越靠近右上角的孤立的點被認為是聚類中心點。計算過程中也可依據(jù)密度與距離的乘積大于設定閾值ρ ?δ >k的判定條件完成聚類中心查找。其中，k值僅用于劃分出決策圖中的獨立中心點，在某范圍內(nèi)變化不會對結果產(chǎn)生影響。最后，通過計算各樣本點到各聚類中心的距離遠近，完成類別劃分。

2.2 不同場景下的顯著性檢測方法

不同場景圖像包含不同特征，因此需要針對性的方法以達到良好顯著性檢測結果。對于海上場景圖像，基于譜殘差的顯著性檢測方法容易使大型船只出現(xiàn)邊緣顯著性，而非整個艦船區(qū)域的顯著表示。而由于近岸場景存在復雜的地物紋理信息，上下文感知顯著性檢測器難以獲取最佳顯著性區(qū)域。因此，本文選擇上下文感知方法用于海上場景，而選用譜殘差方法用于近岸場景。

譜殘差方法主要在頻域完成計算。首先，將圖像通過傅里葉變換映射到頻域中，并提取其幅度和相位響應。

其中，F(xiàn)表示傅里葉變換，A和P分別表示所獲取的幅度譜和相位譜。然后對其做log變換，得到log頻譜。并計算兩者之差，即為頻域下的顯著性目標。

其中，h表示均值濾波器，r表示所得殘差譜。最后，將殘差譜r和相位譜p通過逆傅里葉變換轉(zhuǎn)化回時域，再通過非線性濾波器得到顯著性圖。

上下文感知方法不同于其他顯著性檢測方法，能夠檢測出代表場景的顯著性區(qū)域。它主要依據(jù)4個原則完成顯著性檢測：局部低層次特征、全局特征、視覺特征和高層次特征。首先，將圖像分成多個子塊，將目標塊pi與Lab顏色空間中其他塊pj進行比較。若pi塊與其他塊的差異越大，顯著性越明顯。計算公式為

其中，dc是歐式顏色距離，dp是歐式空間距離，c為常數(shù)參量。因此，可以獲得與pi距離最小的前N(通常取N為65)個圖像塊。且通過計算其與圖像塊pi的差異，顯著性公式定義為

另一方面，N能夠調(diào)節(jié)顯著性區(qū)域范圍，適當調(diào)整能夠有效提升檢測效果。同時，多尺度結果平均值能夠增強顯著性圖像對比度。使R{r1,r2,r3,...,rM}表示圖像塊pi所需尺度集合。則多尺度顯著性結果增強方法可表示為

此外，還需對以上結果進行上下文校正。設置一個閾值，若某像素顯著性超過該閾值，則認為該像素屬于顯著性區(qū)域。顯著性區(qū)域外像素的顯著性值則通過計算其與最近顯著區(qū)像素的加權歐氏距離獲得，表示為

其中，df(i)為像素i與最近顯著像素之間的歐式距離。該步能增加顯著目標鄰域顯著值，降低背景區(qū)域顯著值，從而提升顯著性檢測效果。

3 優(yōu)化的NanoDet模型

NanoDet模型是一個開源的實時檢測模型，它能夠提供不亞于YOLO系列目標檢測算法的檢測性能，實現(xiàn)更快處理。同時，其網(wǎng)絡簡單，模型參數(shù)少，更方便訓練和模型移植。

3.1 標準NanoDet網(wǎng)絡結構

該模型基于一階段的檢測算法完成模型搭建，主要包含3部分：骨干網(wǎng)絡backbone,Neck模塊和檢測頭Head，如圖1藍色虛線框所示。骨干網(wǎng)絡為ShuffleNetV2 1.0x，并刪除最后卷積層，抽取8,16和32倍下采樣特征作為下層輸入。Neck模塊由優(yōu)化后的極小PAN構成，只包含自上而下和自下而上兩條通路。其中，僅包含由骨干網(wǎng)絡特征提取后的1×1卷積完成通道維度對齊，采用插值算法完成上、下采樣，并通過相加實現(xiàn)多尺度特征圖融合，如圖2所示。

圖2 極小PAN結構Fig.2 Structure diagram of minimize PAN

檢測頭選取FCOS系列檢測頭并進行優(yōu)化，放棄共享權重，依然使用不同卷積組完成各層特征提取。同時，將原有的組歸一化(Group Normalization)方式改回批量歸一化(Batch Normalization)，選擇深度可分離卷積替換普通卷積，并減少了回歸分類過程中卷積核數(shù)量和卷積通道數(shù)。最大程度降低計算復雜度，實現(xiàn)輕量化網(wǎng)絡模型，其結構如圖3所示。

圖3 FCOS檢測頭結構圖Fig.3 Structure diagram of FCOS detection head

最后，使用GFocalloss去點FCOS中的中心分支，解決了其在輕量化模型上難以收斂的問題，并省去該部分卷積計算開銷。本文在此基礎上對NanoDet進行了參數(shù)調(diào)整，增加了數(shù)據(jù)增強方法，使檢測準確性進一步提升。這些優(yōu)化策略使得NanoDet不僅能夠?qū)崿F(xiàn)良好的檢測效果，還能夠有效減少模型體積，節(jié)約運行時間。

3.2 NanoDet網(wǎng)絡優(yōu)化

由于實際應用場景中往往存在不同尺寸目標，特別是小尺寸目標容易受噪聲和其他地物干擾，從而使得檢測模型容易出現(xiàn)誤差。針對該問題，本文對NanoDet網(wǎng)絡模型進行了優(yōu)化調(diào)整。借鑒了TridentNet[27]的三叉戟結構，將NanoDet中下采樣第4層特征圖通過多尺度空洞卷積實現(xiàn)。空洞卷積計算空洞卷積計算時在卷積核元素中間加入不同數(shù)量的空洞，空洞率不同卷積核的尺寸也就不同。因此，加入空洞卷積能夠擴大網(wǎng)絡的感受野，捕獲多尺度的上下文信息，且不需要引入額外的參數(shù)。3個分支其他結構相同，差別在于卷積空洞率不同，其結構如圖4所示。不同的卷積操作使得網(wǎng)絡能夠捕獲不同尺度的特征信息，因此能夠更精確的檢測不同尺度大小的目標。

圖4 多尺度特征提取示意圖Fig.4 Schematic diagram of multi-scale feature extraction

4 實驗驗證

本文實驗硬件平臺為Intel?CoreTMi7-97 CPU@3.60 GHz×8,64 G內(nèi)存計算機，使用GeForce RTX 2080Ti GPU高性能圖形處理器完成加速運算。軟件環(huán)境為Linux平臺，操作系統(tǒng)為Ubuntu18.04.5 LTS。軟件環(huán)境基于Anaconda平臺安裝使用，并基于深度學習框架Pytorch[28]構建網(wǎng)絡模型，使用Python完成程序編寫。同時，使用CUDA 10軟件包實現(xiàn)程序加速。在本實驗中，設置檢測閾值IoU為0.5，即當檢測框與真值框重疊區(qū)域超過兩者并集區(qū)域的50%時，認為該框檢測正確。

4.1 實驗數(shù)據(jù)

本文實驗基于國內(nèi)公開SAR數(shù)據(jù)集SSDD和AIR-SARship-2.0實現(xiàn)。其中，SSDD數(shù)據(jù)集共包含1160張不同尺寸的SAR圖像，共有2358個艦船目標。其中，艦船的最大尺寸為211×298像素，最小尺寸為7×7像素。該數(shù)據(jù)集已包含正確標注信息[29,30]，且可以通過其中多分辨率、多場景圖像實現(xiàn)對艦船檢測模型性能的有效驗證。AIR-SARship-2.0數(shù)據(jù)集來源于高分三號衛(wèi)星，共包含300幅圖像，分辨率包括1 m和3 m，圖像尺寸為1000×1000像素。同時，該數(shù)據(jù)集中包括不同的成像模式和極化模式，不同尺寸和形狀的艦船目標，且覆蓋多種場景圖像，為驗證艦船檢測方法性能提供了可靠保證。

4.2 訓練策略與評價指標

實驗過程中，按照6:2:2的比例對訓練集、驗證集和測試集進行劃分。使用SGD優(yōu)化器完成網(wǎng)絡參數(shù)修正，共訓練70個epoch，并采用動態(tài)學習率調(diào)整訓練速度。同時，在訓練過程中使用Tensorboard工具監(jiān)控訓練結果參數(shù)，查看訓練情況，還可查看中間特征圖。每訓練10個epoch保存一次網(wǎng)絡模型，最終根據(jù)訓練結果選出最優(yōu)模型。

本文使用兩種評價指標完成實驗，包括傳統(tǒng)評價指標檢測率PD和虛警率PF，深度學習評價指標檢測精確度(Precision,Pr)，召回率(Recall,Re)和平均精確度(mean Average Precision,mAP)值、曲線。評價指標中的常用概念表示如下：

(1) 真實的正例(True Positives,TP)：被正確檢測出的艦船數(shù)目；

(2) 錯誤的正例(False Positives,FP)：檢測出的虛警數(shù)目；

(3) 真實的負例(True Negatives,TN)：真值為負例且被分為負例；

(4) 錯誤的負例(False Negatives,FN)：漏檢的艦船數(shù)目。

因此，檢測率表示如下：

其中，GT (Ground Truth)為真實艦船總數(shù)。虛警率PF定義為

檢測精確度Precision定義為

召回率Recall定義為

平均精確度mAP定義為

其中，Pr(Re)為在不同的置信度閾值下，由檢測精確度和召回率所構造的曲線。

4.3 實驗結果分析

本文基于公開SAR圖像數(shù)據(jù)集SSDD和AIRSARship-2.0完成實驗。圖5展示了顯著目標增強預處理操作效果圖。與原圖對比，由于在SAR圖像中艦船相對海面背景具有顯著特征，因此在添加預處理操作后，能夠明顯增強目標與背景對比度。盡管在某些圖像中也包含了顯著的建筑目標，但并不影響突出顯示艦船目標，依然能夠?qū)μ嵘灤瑱z測性能提供一定幫助。同時，表1中最后兩行為是否加入預處理操作的數(shù)值效果度量。可以看出，本文提出方法無論是檢測率、虛警率或平均精確度均有更好表現(xiàn)。圖6表示是否經(jīng)過圖像預處理的檢測方法對比結果。其中，綠色框表示真值，橘色框表示檢測結果，藍色框表示漏警目標。可以看出，添加預處理方法后，能夠?qū)崿F(xiàn)目標與背景的對比度增強并提升圖像質(zhì)量，從而對于較小、較弱目標及密集排列目標等，能夠有效提升檢測性能。

圖5 添加預處理效果圖Fig.5 The result diagram of the preprocessing module

表1 基于全部實驗數(shù)據(jù)的不同方法檢測性能對比Tab.1 Comparison of detection performance of different methods based on all dataset

圖6 是否加入本文預處理方法檢測結果對比圖Fig.6 The result diagram of the ship detection method with the preprocessing module added or not

圖7和圖8分別為兩數(shù)據(jù)集部分樣本艦船檢測結果。由此可以直觀看出，本文所提出的方法在不同背景下，對不同尺度目標均能實現(xiàn)良好檢測。其中，測試集共包含459個目標，439個目標被準確測出，也同時產(chǎn)生了16個虛警目標。因此其檢測率為95.64%，虛警率為3.48%。深度學習領域中的評價指標，IoU閾值范圍在0.5～1.0時，mAP為92.49%。當IoU為0.5時，檢測精確度為95.47%。本質(zhì)上，召回率應等于傳統(tǒng)評價指標中的檢測率，為95.64%。以上結果表明，本文所提出的方法能夠?qū)崿F(xiàn)較好的檢測效果。

圖7 本文方法基于SSDD數(shù)據(jù)集的檢測結果圖Fig.7 The ship inspection result diagram based on SSDD dataset of the method proposed in this paper

圖8 本文方法基于AIR-SARship數(shù)據(jù)集的檢測結果圖Fig.8 The detection result diagram based on AIR-SARship dataset of our approach

為了進一步驗證檢測算法能力，本文將所提出方法與最新目標檢測方法：單階段的Yolov5,Yolov4[24],SSD[21]等，雙階段的Faster R-CNN[16],PANet[18]，以及輕量化方法Yolov3-tiny[23],Yolov2-tiny[22]等方法進行了對比。圖9展示了本文方法與其他幾種經(jīng)典方法的檢測對比結果。其中，綠框和紅框分別表示真值目標框和檢測結果框，而紅圈和藍圈分別表示虛警和漏警。可以看出，輕量化算法Yolov3-tiny的檢測結果中出現(xiàn)較多的虛警和漏警目標，而本文方法與Yolov5和PANet相比，具有相對更好的檢測性能，能夠?qū)崿F(xiàn)良好的檢測效果。

圖9 不同方法檢測結果對比圖Fig.9 Comparison chart of detection results of different methods

此外，表1展示了實驗統(tǒng)計結果，對比了基于前述評價指標的各方法檢測性能數(shù)值。由此可得，在本文所提方法相較于NanoDet有較高的性能提升，因而文中所述優(yōu)化方法確實能夠?qū)崿F(xiàn)提升目標檢測方法的性能。同時，本文所提方法檢測平均精確度比Yolov4高約4個百分點，比Yolov5和PANet提高約2個百分點，且相較于經(jīng)典目標檢測方法Faster R-CNN,SSD以及其他輕量化方法等，本文提出方法能夠獲得更好的檢測效果。同時，表1中最后一列為512×512像素大小的圖像樣本檢測時間。對于SSDD數(shù)據(jù)集，每張圖像的尺寸大小不同，但均在512×512左右。本文實驗過程中，測試一張653×469大小的圖像需要6.19 ms，測試一張500×505大小的圖像需要5.04 ms。而對于AIRSARship數(shù)據(jù)集，每張圖像大小為1000×1000，測試一張圖像的時間為19.53 ms。因此，通過像素轉(zhuǎn)換，平均完成處理一張512×512像素的圖像需要5.22 ms。相較于目前優(yōu)秀檢測方法Yolov5，其檢測速度能夠達到其7倍左右。因此，本文所提方法不僅能夠?qū)崿F(xiàn)良好檢測，且具有較高處理速度，能夠滿足實際應用中所需實時性要求，因此具有較高的實用價值。

圖10為基于SSDD數(shù)據(jù)集和AIR-SARship-2.0數(shù)據(jù)集訓練所得實驗結果。圖中線條為各方法的精度-召回率曲線，表示了整體網(wǎng)絡模型的檢測性能。該曲線覆蓋的面積越大，表示模型性能越好。由此可以看出，本文提出的方法具有與最新方法相當?shù)臋z測性能，但能獲得更快的處理速度。

圖10 不同方法精度-召回率曲線Fig.10 Precision-Recall curves of different methods.

5 結論

本文基于NanoDet與顯著性提出一種實時SAR圖像艦船檢測方法。在公開艦船檢測數(shù)據(jù)集上實驗表明，相較于其他方法，本文算法在保證具有較高檢測精確度的同時，也能有效降低檢測時間。且對于不同尺寸、形態(tài)的目標及不同環(huán)境背景下均能實現(xiàn)較好的檢測效果。該方法能夠適應各種實時性高的檢測應用任務，如緊急救援、實時目標監(jiān)控和軍事部署等。其具有較高的研究意義，并為未來的輕量化模型硬件移植打下基礎。