基于深度學習與非下采樣剪切波的SAR圖像艦船檢測

李利杰，鄒國兵

(1.寧波城市職業技術學院，浙江 寧波 315100；2.上海大學 計算機工程與科學學院，上海 200444)

0 引言

合成孔徑雷達(Synthetic Aperture Radar，SAR)是一種主動式遙感傳感器，具有全天時、全天候、遠距離和超幅寬等工作特性，在艦船檢測領域具有不可替代的優勢和地位[1]，可用于輔助海上交通管控、海盜監控和規范捕魚等海事活動。因此，世界各國在SAR艦船檢測技術的研究上開展了大量的工作，該領域的競爭也日益激烈。

傳統的SAR圖像艦船檢測算法的性能依賴于業界專家的先驗知識，針對特定的目標類型需要設計相適應的特征提取模型，模型的場景通用性差，且計算復雜耗時、檢測效果不佳。如恒虛警(Constant False Alarm Ratio，CFAR)類檢測算法[2-4]以海雜波建模為基礎，將艦船目標認為是異常像素從雜波中提取出來，再依據隨機森林、支持向量機(Support Vector Machine，SVM)和Adaboost等分類器進行分類識別。此類方法無法正確描述目標特征，不能對艦船和虛假目標進行有效區分。基于特征的檢測算法[5-7]主要采用人工設計的特征(如SIDI特征、SURF特征和HOG特征等)，通過抽取一種或組合多種特征(如灰度、幾何、紋理和對比度等)來表征目標，完成目標檢測。此類方法提取的是簡單特征，易造成表征不足、魯棒性差等問題，導致檢測任務存在很大的不確定性。近年來，隨著深度學習算法的飛速發展，卷積神經網絡(Convolutional Neural Network，CNN)在大規模視覺識別挑戰賽上拔得頭籌，迅速成為目標檢測領域一大研究熱點，并隨之拓展出一系列性能優異的檢測模型，如R-CNN系列[8-10]、YOLO系列[11-13]和SSD系列[14-15]等。但將其應用于SAR圖像艦船檢測時，檢測性能往往會急劇下降，原因可歸納為3點：一是艦船目標尺度動態范圍大，檢測模型無法形成有效的分級特征表達；二是小尺度目標占比多，難以提取高層語義特征；三是視覺線索匱乏，艦船存在“空洞”“斷裂”等結構缺失，且邊緣信息不完善。

針對SAR圖像艦船目標檢測中存在的問題，并根據艦船目標自身特性，本文提出了一種基于深度學習與非下采樣剪切波的SAR圖像艦船檢測算法。通過非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)提取SAR圖像的高頻子帶圖像，并與原始圖像構成RGB三通道偽彩色圖像，豐富目標特征；在此基礎上，構建了基于深度卷積模型YOLOv3的四尺度特征金字塔目標檢測網絡，通過分層的特征表征和獨立預測，提升了檢測器對多尺度目標的檢測能力。所提檢測模型兼顧了速度和精度，可高效完成SAR圖像艦船檢測任務。

1 基于NSST的偽彩色SAR圖像構建過程

1.1 NSST變換

圖像的幾何紋理結構特性是提取表征特征的關鍵。然而，SAR利用電磁波干涉原理成像，成像過程中伴隨著透視收縮、疊掩和陰影現象，且不可避免地產生大量相干斑噪聲[16]，導致目標特征嚴重缺失、視覺線索匱乏。針對以上問題，研究人員通常采用小波變換、曲波變換、輪廓波變換和剪切波變換等分解圖像中的高低頻信息，試圖抑制噪聲的同時增強圖像的幾何紋理特征。盡管上述方法在一定程度上改善了圖像信息，但缺少平移不變性,導致應用場景受限。為此，Easley等[17]于2008年以多分辨率和仿射變換理論為基礎提出了NSST理論，不僅具備平移不變性，而且可以捕獲更多的圖像細節和紋理信息。處理二維圖像時，其仿射模型定義為：

NSST變換分為多尺度分解和方向局部化2部分,前者通過非下采樣金字塔濾波器組(Non-sub Sampled Laplacian Pyramid，NSLP)實現;后者通過剪切濾波器(Shear Filter，SF)實現。原圖像經過NSST的l級分解，即可得到1個低頻子帶圖像和l個高頻子帶圖像，這些子帶圖像均與原圖像具有相同尺寸。3級NSST分解如圖1所示。

圖1 NSST分解示意Fig.1 Schematic diagram of NSST decomposition

1.2 SAR偽彩色圖像構建過程

SAR特殊的成像機理使其圖像的幾何特性與光學圖像存在顯著差異，可讀性差、特征線索少是制約SAR應用的重要因素。尤為明顯的是，三通道(RGB)的光學圖像中，目標具有完整的紋理結構，而單通道SAR圖像中，地物目標紋理結構缺失。因此，利用NSST分解原圖像，并提取高頻子帶信息，以增強SAR圖像可利用特征線索，彌補紋理結構。SSDD公開艦船數據集[18]中一個經NSST分解后的各子帶圖像樣例如圖2所示。原圖像為SAR圖像近岸場景，港口艦船停靠密集，邊緣信息相互交織。經NSST分解后的低頻子帶圖像保留了大部分艦船和海岸信息，但缺少高頻分量導致清晰度下降，使艦船輪廓難以被區分。反觀高頻子帶圖像，雖然視覺信息減少，但輪廓特征顯著，尤其是2級和3級高頻子帶圖像體現更佳。此外，高頻子帶圖像中的相干斑噪聲顯著降低，進一步增強了其可利用價值。

圖2 SAR圖像3級NSST分解示例Fig.2 Example of 3-level NSST decomposition of SAR images

基于以上分析，利用原始圖像與歸一化后的2級和3級高頻子帶圖像構建3通道RGB偽彩色圖像，如圖3所示。

圖3 SAR偽彩色圖像合成過程Fig.3 Process of SAR pseudo-color image composition

與單通道原始圖像相比，偽彩色圖像中不僅包含了所有的原圖像信息，而且增強了目標輪廓的顯著性。與僅由原始圖像構建的三通道圖像相比，偽彩色圖像降低了相干斑噪聲的負面影響。檢測模型訓練過程中，CNN可以自主學習權重參數深度挖掘圖像特征，進而捕捉目標細節信息，提升檢測器準確性。

2 多尺度艦船檢測的深度卷積框架

2.1 多尺度艦船檢測深度卷積網絡結構

針對艦船目標尺度動態范圍大、小尺度目標占比大的特點，設計了一種基于YOLOv3的多尺度艦船檢測模型。原始YOLOv3模型以Darknet-53為主干網絡，并采用全局到局部的思想構建多尺度金字塔完成目標檢測，有利于檢測多尺度(尤其是小尺度)目標[19]，且Darknet-53具備一定的泛化能力，進一步提升了檢測性能。雖然YOLOv3的性能優越，但對于目標尺度差異大、小目標占比多的SAR圖像艦船的檢測效果仍然不足。YOLOv3的接收視野為416 pixel×416 pixel×3，通過構建3尺度的特征金字塔，在不同分辨率的特征圖上獨立預測目標來提升網絡的特征分級表達能力。特征金字塔的下采樣步長分別為8，16，32，YOLOv3理論上所檢測目標的分辨率應大于8 pixel×8 pixel。然而，以應用比較廣泛的SSDD數據集為例，其包含的艦船目標中有136個目標的高或者寬小于8 pixel，如圖4所示。此類目標漏檢風險較大，因此需要進一步增大特征金字塔的分辨率。

圖4 SSDD數據集艦船目標長寬分布Fig.4 Distribution of ship target length and width for SSDD dataset

因此，針對SAR圖像中艦船目標尺度動態范圍大、小型目標占比多的特點，重新設計檢測網絡，將Darknet-53中具有更高分辨率的低層特征圖融入原始YOLOv3的特征金字塔結構中，形成四尺度的預測特征圖，提升網絡對小尺度目標的敏感度。整個目標檢測網絡框架如圖5所示。卷積操作(Convs)由二維卷積層(Conv)、批歸一化層(BN)以及非線性激活函數(Leaky_ReLU)組成，其中，卷積層用于提取圖像特征，批歸一化層可以將各卷積層的輸入約束在同一分布下，從而提升網絡的泛化能力和訓練速度，非線性激活函數用于增強網絡的非線性描述能力，三者共同完成輸入到輸出的非線性映射。卷積模塊(Conv Block)由2個卷積核大小分別為3×3，1×1的卷積操作組成，用于進一步整合圖像特征。上采樣模塊(Upsample Block)由一個卷積操作和2倍上采樣組成，用于統一特征圖的尺度和通道數，為特征圖融合疊加(Concatenate，C)提供支撐。殘差模塊由2個卷積核大小分別為1×1，3×3的卷積操作和一個捷徑連接構成，其中，1×1卷積操作對輸入進行降維，以減少參數量；3×3卷積操作用于提取特征和恢復特征維度；捷徑連接用于構建殘差，添加恒等映射分支，防止網絡加深引起的梯度消失和網絡退化問題。頭模塊(Head)同樣由2個卷積操作組成，最后輸出包括目標位置坐標、邊框置信度和分類概率的預測結果。網絡采用的損失函數與YOLOv3相同。

圖5 多尺度艦船檢測深度卷積框架Fig.5 Deep convolution framework for multi-scale ship detection

多尺度艦船檢測模型以偽彩色SAR圖像作為輸入，通過主干網絡Darknet-53提取輸入圖像的分層級特征表達，構建4尺度特征金字塔(y1～y4)并獨立預測目標。y1～y4的下采樣步長分別為32，16，8，4，此時，該網絡能檢測到的最小目標分辨率在4 pixel×4 pixel左右，相較于原始模型降低了小尺度目標的漏檢風險。

2.2 艦船檢測原理

為了檢測出SAR圖像中多尺度艦船目標，所提網絡模型在4個不同尺度的特征圖(即圖5中的y1～y4)上生成錨框，并獨立進行目標分類和邊框回歸，進而預測出邊框坐標(tx,ty,tw,th)、邊框置信度Pobj和分類概率Pk，其中tx,ty,tw,th分別表示目標邊框的中心點橫縱坐標、寬度和高度，k是目標類別索引。在分辨率為13 pixel×13 pixel的特征圖y4上實現艦船檢測的基本原理如圖6所示，其他尺度特征圖上的檢測原理與此相同。待檢測圖像輸入CNN之前首先調整尺寸至416 pixel×416 pixel，經主干網絡Darknet-53特征提取后輸出四尺度特征金字塔，其中y4分辨率為13 pixel×13 pixel，其每個像素點對應輸入圖像32 pixel×32 pixel大小的區域，以每個像素點為錨點產生3種錨框，根據錨框在特征圖上的特征映射計算出邊框坐標、置信度以及分類概率，從而得到目標預測結果，再將預測結果映射至原始圖像完成目標檢測。

圖6 艦船檢測原理Fig.6 Principle of ship detection

3 實驗驗證

3.1 數據集

SSDD公開艦船數據集被廣泛應用于技術研究和算法測試，共包含1 160張SAR圖像，有2 456個艦船目標，場景類型包含港口、島礁和海上區域等，目標尺度分布動態范圍大，與真實場景相近，適合用于測試本文算法。該數據集中的SAR圖像分辨率和尺寸均不固定，數據集樣例及其相應的偽彩色圖像如圖7所示。實驗選用包含2 000個目標的900張圖像樣本作為訓練集，選用包含456個目標的260張圖像樣本作為測試集。

(a) 靠岸背景SAR圖像

3.2 實驗設置

實驗環境為Ubuntu18.04操作系統，E5-2630v4 CPU，NVIDIA GTX-1080Ti GPU (11 GB顯存)，64 GB RAM，以深度學習框架Tensorflow為編譯工具。網絡訓練過程中，采用經ImageNet數據集訓練的Darknet-53預訓練模型初始化網絡參數，并使用Adam優化器進行優化。訓練過程共分為2個階段：第1個階段凍結Darknet-53主干網絡，訓練其他網絡層參數，訓練30輪次；第2個階段開放所有卷積層參數，訓練50輪次。

為了設置合理的錨框，通過k-means算法對SSDD數據集中的標注邊框的高寬進行聚類運算，共設置12個聚類中心，每個聚類中心對應一種錨框類型，分別分配給4個不同尺度的特征圖，以特征圖上的每個像素點為中心產生3種不同大小的錨框。預估錨框設置如表1所示，其中錨框1～3分配給特征圖y4，錨框4～6分配給特征圖y3，錨框7～9分配給特征圖y2，錨框10～12分配給特征圖y1。

表1 SSDD數據集中12個錨框的高寬設置Tab.1 Height and width settings for 12 anchor boxes in SSDD dataset 單位：pixel

3.3 實驗結果及分析

本節通過與SSD[14]，YOLOv3[13]，四尺度的YOLOv3，Faster RCNN[8]和YOLOv4[20]進行比較來驗證所提模型的有效性和優異性，其中，YOLOv3，四尺度YOLOv3和所提算法可以看作一次消融實驗，用于分析高頻子帶圖像與四尺度金字塔結構的作用。各檢測網絡模型在SSDD數據集上的檢測結果定量評估如表2所示，其中精確率(P)、召回率(R)和平均準確率(AP)用于衡量模型的檢測精度，Rate(幀/秒)用于衡量模型的檢測速度。

表2 不同網絡模型的艦船檢測結果定量比較Tab.2 Quantitative comparison of ship detection results for different network models

由各檢測模型的性能定量比較可知，相較于其他檢測模型，所提算法的檢測精度最優，P達到了93.42%，R達到了94.93%，AP達到了94.71%。SSD采用的主干網絡泛化能力較弱，在特征提取上不占優勢，導致目標漏檢和錯檢嚴重，AP僅達到61.00%。YOLOv3雖然應用了特征金字塔結構，但基于三尺度特征圖的目標預測仍不足以滿足多尺度艦船目標檢測的需求，AP值為83.56%。在原始YOLOv3模型的基礎上，四尺度YOLOv3將具有更高分辨率的特征層加入了特征金字塔中，形成四尺度預測網絡，較前者目標漏檢數量得以下降，但錯檢數量有所上升，AP值為86.24%，比YOLOv3提升了2.68%。Faster RCNN由于采用單個預測特征圖檢測目標，目標漏檢情況嚴重，R值僅為82.35%，AP值為87.69%，但由于其是雙階段網絡，增加了候選目標提取過程，相較于SSD和YOLOv3的單階段預測模式，在檢測精度上具有一定優勢。YOLOv4是YOLOv3的改進版本，增加了SPP和PANet等諸多特征增強結構和數據增強手段，模型復雜度較高，AP值達到次優的92.09%。所提算法首先通過NSST分解并提取圖像高頻分量，與原圖組成RGB三通道偽彩色圖像，豐富了圖像所含信息量；再以YOLOv3為基礎構建四尺度特征金子塔結構，并獨立預測目標，提升了網絡對不同尺度目標的敏感度，模型復雜度不僅比YOLOv4低，而且檢測精度也得到了大幅提升。

比較YOLOv3和四尺度YOLOv3的檢測結果可以得知，由于增加了一層淺層特征，目標漏檢現象得以改善且AP值有明顯提升，說明具有高分辨率的淺層特征圖有益于小尺寸目標檢測。比較四尺度YOLOv3和所提算法的檢測結果可以得知，NSST分解的高頻子帶圖像與原始圖像構建的偽彩色圖像，可以為網絡提供足備的判定信息，彌補SAR圖像紋理結構缺失問題，大幅提升檢測器性能。

從各方法的檢測速率來看，SSD以單階段網絡結構和簡單的主干網絡在檢測速度上占據絕對優勢，Faster RCNN的雙階段網絡結構使其檢測速度居于末尾。YOLOv4模型復雜度較高，導致檢測速度略低。所提算法在YOLOv3基礎上加入了高頻分量提取和一層目標預測特征圖，致使檢測速度較YOLOv3略有不足，但仍處于前列。總之，所提算法以較快的檢測速度取得了最優AP值，性能表現足以勝任SAR圖像多尺度艦船檢測任務。

為了更加直觀地對以上6種方法進行比對，圖8給出了不同方法在SSDD數據集中的3幅不同背景圖像上的檢測可視化結果，圖中共包含39個艦船目標。其中，綠色框為正確檢測的艦船目標，紅色框為漏檢目標，黃色框為錯檢目標。由圖8可知，SSD正確檢測23個目標、錯檢3個目標、漏檢16個目標；YOLOv3正確檢測26個目標、錯檢2個目標、漏檢13個目標；四尺度YOLOv3正確檢測27個目標、錯檢5個目標、漏檢12個目標；Faster RCNN正確檢測24個目標、錯檢2個目標、漏檢15個目標；YOLOv4正確檢測31個目標、錯檢2個目標、漏檢8個目標；所提算法正確檢測32個目標、錯檢1個目標、漏檢7個目標，其檢測性能得到進一步驗證。

(a) SSD

4 結束語

本文針對SAR圖像中艦船目標尺度動態范圍大、小型目標占比多及目標紋理結構缺失等問題，提出了一種基于深度學習和NSST的目標檢測算法。該方法利用NSST提取原始圖像的高頻子帶圖像，并與原圖構建RGB三通道偽彩色圖像，增強圖像的邊緣紋理結構，從根源豐富圖像所含信息量；構建了基于YOLOv3的四尺度特征金字塔網絡結構，并在不同分辨率的特征層上獨立預測目標，提升網絡對不同尺度目標的敏感度。檢測網絡通過自主學習可以合理選擇圖像高低頻分量、深度挖掘目標特征，為最終檢測結果判定提供足備信息，且四尺度的目標預測特征層能夠很好地適應目標尺度動態范圍大的特點，從而提升檢測性能。相較于SSD，YOLOv3，四尺度YOLOv3，Faster RCNN和YOLOv4，所提算法能夠更加高效地提取和利用目標特征，大幅提升檢測精度，AP值高達94.71%。