基于Faster-RCNN和多分辨率SAR的海上艦船目標(biāo)檢測(cè)

胡 炎，單子力，高 峰

(中國電子科技集團(tuán)公司航天信息應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，河北 石家莊 050081)

0 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)是一種主動(dòng)式微波成像傳感器，由于微波信號(hào)能夠穿透云層且不受天氣和太陽光照影響，因此具有全天時(shí)、全天候工作的能力[1-2]。星載SAR系統(tǒng)還具有工作時(shí)間長(zhǎng)、成像模式豐富、覆蓋范圍廣等特點(diǎn)，被廣泛的應(yīng)用于測(cè)圖、海洋、農(nóng)業(yè)、林業(yè)、地質(zhì)和水文等領(lǐng)域[3]。

利用SAR圖像進(jìn)行艦船檢測(cè)日益受到軍事和民用領(lǐng)域的高度重視，從20世紀(jì)90年代開始加拿大、美國、歐盟等國家和地區(qū)相繼開發(fā)了基于星載SAR的艦船檢測(cè)系統(tǒng)[4]。與此同時(shí)我國相關(guān)科研單位也開始了SAR艦船目標(biāo)檢測(cè)和監(jiān)視的研究，并相繼開發(fā)了“Ship Surveillance”艦船檢測(cè)系統(tǒng)[5]和“SARWAMS” 艦船監(jiān)視系統(tǒng)[6-9]。早期的艦船檢測(cè)算法主要是基于艦船與海洋后散射特性不同的散射機(jī)理，常用的方法包括恒虛警率(Constant False Alarm Rate，CFAR)、極化分解、小波分解以及模板法等[10]。雖然SAR艦船檢測(cè)算法和系統(tǒng)紛繁多樣，但到目前為止仍沒有哪一種算法或系統(tǒng)可以對(duì)所有的SAR圖像有效。Wahl等[11]認(rèn)為導(dǎo)致SAR艦船檢測(cè)算法適應(yīng)能力受限的根本原因不在于算法本身，而在于強(qiáng)海洋雜波的后向散射高于艦船。

深度學(xué)習(xí)[12]通過非線性模型對(duì)原始數(shù)據(jù)進(jìn)行更高層次、更抽象的表達(dá)，已經(jīng)在語音識(shí)別、目標(biāo)檢測(cè)和文本翻譯等領(lǐng)域取得了巨大的成功。深度學(xué)習(xí)網(wǎng)絡(luò)模型種類很多，包括卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)和深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)等。CNN主要用來處理二維輸入，主要應(yīng)用于圖像識(shí)別領(lǐng)域。得益于大樣本集和自身特征自主分層的學(xué)習(xí)能力，CNN方法比傳統(tǒng)算法具有更強(qiáng)的魯棒性和泛化能力。

由于CNN僅適用于特征學(xué)習(xí)，需要解決檢測(cè)框的回歸問題才能用于目標(biāo)檢測(cè)。Szegedy[13]等首先嘗試將目標(biāo)檢測(cè)作為回歸問題，然而在VOC2007數(shù)據(jù)集上的檢測(cè)結(jié)果差強(qiáng)人意(mAP僅30.5%)；Koen[14]等建設(shè)性地使用候選區(qū)域(Region Proposal)的方法解決檢測(cè)問題(該方法簡(jiǎn)稱RCNN)，首先使用Selective Search算法獲得數(shù)千個(gè)局部候選區(qū)域，然后把這些區(qū)域分別輸入到CNN中提取區(qū)域特征，最后利用分類器判別不同的區(qū)域?qū)儆诒尘斑€是目標(biāo)，RCNN在VOC2007數(shù)據(jù)集上取得了突破性成果(mAP 58%)；為了解決RCNN存在大量重復(fù)計(jì)算的問題，Girshick[15]于2015年提出了Fast-RCNN，將候選區(qū)域映射到CNN的最后一層的特征圖上，這樣一張圖片只需要提取一次特征，大大提高了目標(biāo)檢測(cè)的速度，同時(shí)也進(jìn)一步提高了在VOC2007上的mAP(68%)；同年，Girshick又與何愷明[16]等合作提出了Faster-RCNN，它由一個(gè)區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)與Fast-RCNN共同構(gòu)成。通過區(qū)域生成網(wǎng)絡(luò)與Fast RCNN共享特征提取網(wǎng)絡(luò)以及位置精修的策略，進(jìn)一步提高了目標(biāo)檢測(cè)的速度以及在VOC2007上的mAP(73%)。

本文將深度卷積網(wǎng)絡(luò)應(yīng)用于SAR海上艦船目標(biāo)檢測(cè)，首先通過SAR圖像仿真分析了不同分辨率下算法失效的原因，即分辨率越高、雜波的影響越大，需要更大的模板才能有效抑制雜波干擾；然后提出通過分辨率歸一化的方法將不同分辨率的SAR圖像歸一化到統(tǒng)一尺度附近，以削弱不同分辨率下海雜波模型之間的差異；最后考慮到SAR圖像的稀疏性以及SAR艦船特征較簡(jiǎn)單的問題，在Faster-RCNN框架下設(shè)計(jì)并構(gòu)建一個(gè)僅3層卷積神經(jīng)網(wǎng)絡(luò)用于特征學(xué)習(xí)，以防止模型過擬合問題。實(shí)驗(yàn)選擇了4種不同海洋雜波環(huán)境的寬幅SAR圖像進(jìn)行測(cè)試，均獲得了較好的檢測(cè)結(jié)果。

1 多分辨率SAR仿真分析

由于SAR相干斑噪聲的影響，傳統(tǒng)光學(xué)圖像處理方法一般都難以在SAR圖像上取得效果。圖1(a)和圖1(c)分別為光學(xué)圖像和TerraSAR-X海上艦船圖像。圖1(b)和圖1(d)分別為沿圖中灰色虛線像素灰度值的變化仿真。對(duì)比光學(xué)圖像和TerraSAR-X圖像仿真圖可以看出，光學(xué)圖像灰度變化平滑，目標(biāo)區(qū)域與背景區(qū)域梯度變化特征有較顯著差異；而TerraSAR-X圖像灰度變化劇烈，目標(biāo)區(qū)域與背景區(qū)域梯度變化特征較難區(qū)分。反映在圖像處理算法上，光學(xué)圖像提取顯著特征相對(duì)較容易，而SAR圖像提取顯著特征相對(duì)較困難。

構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的SAR艦船檢測(cè)模型時(shí)，需要充分考慮光學(xué)圖像與SAR圖像的差異，有針對(duì)性的設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)模型。根據(jù)圖1(b)和圖1(d)的對(duì)比分析可知，針對(duì)SAR圖像的神經(jīng)網(wǎng)絡(luò)的卷積核需要大于光學(xué)圖像，才能夠有效地抑制SAR噪聲，提高網(wǎng)絡(luò)的魯棒性。

圖1 光學(xué)圖像與TerraSAR-X圖像仿真對(duì)比

然而隨著卷積核的增大，網(wǎng)絡(luò)模型訓(xùn)練和檢測(cè)所需要的時(shí)間代價(jià)也隨之大幅增加。如何在提高網(wǎng)絡(luò)訓(xùn)練和檢測(cè)效率的同時(shí)提高網(wǎng)絡(luò)的魯棒性和泛化能力是網(wǎng)絡(luò)設(shè)計(jì)的基本需求。3 m分辨率的TerraSAR-X海上艦船圖像與5 m*20 m分辨率的Sentinel-1A海上艦船圖像仿真對(duì)比如圖2所示。可以看出不同衛(wèi)星、不同分辨率SAR圖像的海面雜波模型差異較大。高分辨率下強(qiáng)海洋雜波的后向散射更顯強(qiáng)烈，需要更大的模板才能有效抑制海洋雜波。而傳統(tǒng)方法往往需要基于固定的模板來設(shè)計(jì)算法，深度學(xué)習(xí)模型中卷積核尺度、卷積核數(shù)量和卷積層數(shù)等也需要預(yù)先設(shè)定。因而同樣的算法往往難以適應(yīng)不同分辨率、不同成像質(zhì)量的SAR圖像。

圖2 3 m分辨率TerraSAR-X圖像與10 m分辨率Sentinel-1A圖像仿真對(duì)比

為了使神經(jīng)網(wǎng)絡(luò)模型可以同時(shí)處理不同衛(wèi)星、不同分辨率的SAR圖像，需要對(duì)不同分辨率的衛(wèi)星數(shù)據(jù)做分辨率歸一化。其目的是為了削弱不同分辨率SAR系統(tǒng)海雜波模型的差異。3 m分辨率TerraSAR-X圖像縮放5倍后與5 m*20 m分辨率Sentinel-1A圖像仿真對(duì)比如圖3所示。可以看出，縮放后的TerraSAR-X圖像與Sentinel-1A圖像具有近似的梯度變化特征。對(duì)比圖3(b)與圖2(b)可以看出，圖像縮放后，海雜波的劇烈變化受到了較顯著的抑制。縮放高分辨率SAR圖像相當(dāng)于降低SAR圖像分辨率，在較低分辨率下海雜波的散射截面相對(duì)值較小。而低分辨率SAR系統(tǒng)類似于低通濾波器，會(huì)過濾掉較多的海雜波。然而值得注意的是，這種類似低通濾波的效果會(huì)同樣濾掉較多的目標(biāo)細(xì)節(jié)。對(duì)于高分辨率SAR圖像，在低分辨率下實(shí)施檢測(cè)后，可以將檢測(cè)框回歸到原分辨率，然后做進(jìn)一步精細(xì)化建模分析。

圖3 3 m分辨率TerraSAR-X圖像縮放5倍后與10 m分辨率Sentinel-1A圖像仿真對(duì)比

綜上所述，在設(shè)計(jì)針對(duì)SAR艦船檢測(cè)的CNN網(wǎng)絡(luò)模型結(jié)構(gòu)時(shí)，需要充分考慮SAR紋理變化特征與光學(xué)圖像的差異，選擇大尺度卷積核。本文設(shè)計(jì)的CNN網(wǎng)絡(luò)模型時(shí)，首先考慮將高分辨率SAR圖像縮放至低分辨率SAR尺度附近，然后選擇5*5和6*6的卷積核尺度，可以較好地適應(yīng)低分辨率SAR海雜波模型。

2 提出的卷積神經(jīng)網(wǎng)絡(luò)模型

2.1 樣本集制作

在實(shí)施分辨率歸一化之后，需要制作標(biāo)準(zhǔn)訓(xùn)練樣本集才能訓(xùn)練我們的艦船檢測(cè)模型。需要注意的是，由于使用了不同衛(wèi)星的SAR圖像進(jìn)行混合訓(xùn)練，需要保證不同衛(wèi)星樣本量的均衡。本文共計(jì)采集了164個(gè)TerraSAR-X艦船樣本以及640個(gè)Sentinel-1A艦船樣本，所有原始樣本的尺度均大于113像素，如圖4所示。

為了保證樣本均衡，采用了人工擴(kuò)增樣本的方法：

① 采用隨機(jī)增減背景像素策略，處理每一個(gè)TerraSAR-X艦船樣本，將尺度歸一化到113*113；重復(fù)處理每個(gè)樣本20次，獲得20個(gè)背靜略有差異的標(biāo)準(zhǔn)樣本切片。164個(gè)TerraSAR-X艦船樣本共計(jì)獲得3 280個(gè)標(biāo)準(zhǔn)TerraSAR-X艦船切片；

② 同樣采用隨機(jī)增減背景像素策略，重復(fù)處理每個(gè)Sentinel-1A艦船樣本5次，共計(jì)獲得3 200個(gè)標(biāo)準(zhǔn)Sentinel-1A艦船切片。

圖4 訓(xùn)練樣本及標(biāo)注

2.2 卷積神經(jīng)網(wǎng)絡(luò)

由于SAR圖像的稀疏性，SAR艦船紋理特征非常簡(jiǎn)單。同時(shí)考慮到本文采集到的樣本量有限，設(shè)計(jì)了一個(gè)3層的特征學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，如圖5所示。Faster-RCNN的基本結(jié)構(gòu)是由RPN與Fast-RCNN共享CNN特征提取網(wǎng)絡(luò)構(gòu)成。本文在不改變Faster-RCNN的基本結(jié)構(gòu)的前提下，修改了CNN特征提取網(wǎng)絡(luò)以適應(yīng)SAR海上艦船目標(biāo)檢測(cè)的需求。

圖5 Faster-RCNN基本結(jié)構(gòu)及本文設(shè)計(jì)的CNN網(wǎng)絡(luò)流程

設(shè)計(jì)的CNN網(wǎng)絡(luò)模型結(jié)構(gòu)如圖5所示，總共包含3個(gè)卷積層和2個(gè)池化層，其中池化層僅作用于前2層，采用max pooling形式，下采樣窗口尺度為2*2。每個(gè)卷積層均采用ReLU非線性激活函數(shù)。輸入圖像尺寸為113*113，第1層卷積包含32個(gè)5*5的卷積核，輸出為32個(gè)109*109的特征圖。經(jīng)過池化層后，特征圖尺寸變?yōu)?4*54，然后進(jìn)入第2層卷積。第2層卷積包含64個(gè)6*6的卷積核，輸出為64個(gè)49*49的特征圖。經(jīng)過第2次池化層后，輸出為64個(gè)24*24的特征圖，接著進(jìn)入第3個(gè)卷積層。第3個(gè)卷積層包含128個(gè)5*5的卷積核，輸出為128個(gè)20*20的特征圖。經(jīng)過第3個(gè)卷積層后，特征圖被RPN和Fast-RCNN共享。

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)選取了2種衛(wèi)星的4個(gè)不同的海上場(chǎng)景進(jìn)行實(shí)驗(yàn)，結(jié)果如圖6所示。

圖6 在4幅大場(chǎng)景下的目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果

從圖6(a)可以看出，模型對(duì)于Sentinel-1A圖像中大型艦船目標(biāo)的識(shí)別率接近100%，僅有一個(gè)受十字旁瓣噪聲干擾的艦船未檢測(cè)出來。模型無法檢測(cè)小型艦船的原因是：沒有針對(duì)小型艦船進(jìn)行訓(xùn)練樣本采集。而模型仍檢測(cè)出了較多的小型艦船目標(biāo)，可以看出，模型具有一定的泛化能力。從圖6(b)、圖6(c)和圖6(d)可以看出，模型對(duì)于TerraSAR-X圖像也具有較好的檢測(cè)效果。然而，從圖6(b)可以看出，經(jīng)過粗略統(tǒng)計(jì)該場(chǎng)景下，漏檢率超過了30%。從圖6(c)和圖6(d)可以看出，模型在該場(chǎng)景下存在一定的誤檢。可以看出，模型在Sentinel-1A圖像下的檢測(cè)效果明顯優(yōu)于TerraSAR-X圖像。

分析可知，在樣本搜集過程中Sentinel-1A的原始樣本量(640)大于TerraSAR-X圖像的原始樣本量(164)，本文艦船檢測(cè)模型的檢測(cè)能力受限于數(shù)據(jù)源的不足，因而導(dǎo)致了模型對(duì)TerraSAR-X圖像的檢測(cè)效果不佳。但仍然可以看出，本文提出的多分辨率歸一化方法結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)的艦船檢測(cè)模型具有一定的應(yīng)用潛力。

4 結(jié)束語

通過SAR仿真分析了不同分辨率下海雜波的特點(diǎn)，據(jù)此分析了針對(duì)SAR圖像的CNN網(wǎng)絡(luò)結(jié)構(gòu)的基本需求。通過分辨率歸一化制作混合數(shù)據(jù)的訓(xùn)練樣本集，然后在Faster-RCNN框架下設(shè)計(jì)并構(gòu)建一個(gè)僅3層卷積神經(jīng)網(wǎng)絡(luò)用于特征學(xué)習(xí)，以防止模型過擬合。在制作樣本集過程中使用了人工擴(kuò)增樣本的方式均衡不同衛(wèi)星的樣本量。通過在4幅不同衛(wèi)星、不同場(chǎng)景的寬幅SAR圖像上進(jìn)行的艦船檢測(cè)實(shí)驗(yàn)，表明本文提出的多分辨率歸一化方法結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)的艦船檢測(cè)模型具有一定的應(yīng)用潛力。

[1] CURLANDER J C，MCDONOUG R N.SyntheticAperture Radar Systems and Signal Processing[M].John Wiley&Sons，1991.

[2] 楊國錚，禹晶，肖創(chuàng)柏,等.基于形態(tài)成分分析的復(fù)雜背景SAR 圖像艦船尾跡檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28(10):1662-1670.

[3] 龔小冬，李飛，張志敏,等.一種新穎的高分辨率SAR艦船檢測(cè)方法[J].雷達(dá)科學(xué)與技術(shù)，2015，13(1)：70-75.

[4] 邢相薇，計(jì)科峰，康利鴻,等.HRWS SAR 圖像艦船目標(biāo)監(jiān)視技術(shù)研究綜述[J].雷達(dá)學(xué)報(bào)，2015，4(1):107-121.

[5] 種勁松，歐陽越，朱敏慧.合成孔徑雷達(dá)海洋目標(biāo)檢測(cè)[M].北京：海洋出版社，2006.

[6] 張亮.SAR圖像艦船目標(biāo)檢測(cè)方法研究[D].長(zhǎng)沙:國防科學(xué)技術(shù)大學(xué)，2007.

[7] 邢相薇.SAR 圖像艦船目標(biāo)檢測(cè)研究[D].長(zhǎng)沙:國防科學(xué)技術(shù)大學(xué)，2009.

[8] XING Xiangwei，Ji Kefeng，Zou Huanxin，et al.A Fast Ship Detection Algorithm in SAR Imagery for Wide Area Ocean Surveillance[C]∥IEEE Radar Conference，Atlanta，USA，2012:570-574.

[9] XING Xiangwei，Ji Kefeng，Zou Huanxin，et al.Ship Classification in TerraSAR-X Images with Feature Space Based Sparse Representation[J].IEEE Geoscience and Remote Sensing Letters，2013，10(6)：1562-1566.

[10] CRISP D J.The State-of-the-art in Ship Detection in Synthetic Aperture Radar Imagery[R].Edinburgh，South Australia：DSTO Information Sciences Laboratory，2004:13-53.

[11] ELDHUSET T W，SKOELV K.Practical Use of ERS-1 SAR Images in Pollution Monitoring[J].International Geoscience & Remote Sensing Symposium，1994，4(4) :1954-1956.

[12] BENGIO Y，COURVILLE A，VINCENT P.Representation Learning：a Review and New Perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(8)：1798-1828.

[13] SZEGEDY C，TOSHEV A，ERHAN D.Deep Neural Networks for Object Detection[J].Advances in Neural Information Processing Systems，2013，26 :2553-2561.

[14] KEAVD S，JRR U，GEVERS T et al.Segmentation as Selective Search for Object Recognition[J].IEEE International Conference on Computer Vision，2012，104 (2):1879-1886.

[15] GIRSHICK R.Fast R-CNN[C]∥International Conference on Computer Vision，2015:176-183.

[16] REN Shaoqing，HE Kaiming，GIRSHICK R，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks[J].International Conference on Neural Information Processing Systems，2015，39(6):91-99.