基于特征轉(zhuǎn)移金字塔網(wǎng)絡(luò)的SAR圖像跨尺度目標(biāo)檢測

周 正 崔宗勇 曹宗杰 楊建宇

(電子科技大學(xué)信息與通信工程學(xué)院 成都 611731)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)作為一種主動式的微波遙感系統(tǒng)，它能夠在全天候及復(fù)雜環(huán)境條件下獲取高分辨率的SAR圖像。GF-3,RadarSat-2,TerraSAR-X及Sentinel-1等星載高分辨率SAR的迅速發(fā)展，使得SAR在軍事和民用領(lǐng)域發(fā)揮著重要作用。SAR圖像往往存在著多尺度目標(biāo)，也存在著尺度比例相差巨大的目標(biāo)，比如機場目標(biāo)、飛機目標(biāo)、艦船目標(biāo)和車輛目標(biāo)等。然而，目前存在的SAR圖像多尺度目標(biāo)檢測方法并不多，大致分為3種類型[1]：(1)基于恒虛警率(Constant False Alarm Rate,CFAR)的檢測算法；(2)基于顯著性的檢測算法；(3)基于深度學(xué)習(xí)的檢測算法。但是檢測效果并不好，存在一定的漏檢和虛警。因此，針對SAR圖像中多尺度目標(biāo)檢測，提出一種高效率、高準(zhǔn)確率的多尺度目標(biāo)檢測方法對陸地偵察、軍事情報獲取和海洋管理等方面具有重要意義。

傳統(tǒng)的SAR圖像目標(biāo)檢測主要以CFAR算法為例，絕大多數(shù)CFAR算法基于局部滑窗對SAR圖像進行逐像素檢測，SAR圖像中的每一個像素多次參與了滑窗運算，致使算法的計算速度普遍不高。但是隨著高分辨率SAR圖像的出現(xiàn)，多尺度目標(biāo)周圍往往伴隨著復(fù)雜的地物干擾和紋理場景，也造成了大場景SAR圖像中大量背景雜波像素處的計算費時過多。為了解決SAR圖像中多尺度目標(biāo)檢測問題，一些學(xué)者提出了很多改進的CFAR目標(biāo)檢測算法，比如迭代式的CFAR目標(biāo)檢測算法[2]、基于改進的超像素CFAR目標(biāo)檢測算法[3]、基于變尺度滑窗目標(biāo)檢測算法[4]。為了獲取到更多的目標(biāo)信息，消除相干斑噪聲的影響，Li等人[3]提出了一種用于目標(biāo)超像素檢測的兩階段CFAR檢測算法，對簡單場景下艦船檢測效果較好，對尺度相差較大的不同目標(biāo)檢測結(jié)果較差。為了檢測到尺度較大的目標(biāo)，Zhai等人[5]提出顯著性和上下文信息處理的艦船檢測算法，能更加關(guān)注特征比較突出的大型艦船和背景目標(biāo)，但是該方法忽略了小型艦船。以上方法僅僅針對SAR圖像中背景較為簡單的場景，雖然檢測效果不錯，但是對于復(fù)雜的大場景SAR圖像來說，檢測性能將會下降。

近年來，許多學(xué)者提出了基于深度學(xué)習(xí)的目標(biāo)檢測算法，并且取得了較好的檢測性能。基于CNN的目標(biāo)檢測器可以分為兩種方法。一種是單階段檢測方法，如YOLO[6]和SSD[7]，檢測速度快，但是精度不高。另一種為兩階段檢測方法，如R-CNN[8]和Fast-RCNN[9]，檢測速度較慢，但是精度高。為了在實時SAR應(yīng)用領(lǐng)域具有一定的現(xiàn)實意義，張曉玲等人[10]提出一種高速高精度的SAR圖像艦船檢測方法。Hong等人[11]提出了一種基于YOLOv3的增加骨干網(wǎng)絡(luò)的多層金字塔結(jié)構(gòu)的算法，用于解決復(fù)雜環(huán)境下多尺度目標(biāo)檢測問題，但是該方法主要提升了小目標(biāo)的檢測效果，當(dāng)不同目標(biāo)尺度差距較大時，不能較好地實現(xiàn)大小目標(biāo)同時被檢測。陳慧元等人[12]提出一種基于深度網(wǎng)絡(luò)的大場景遙感艦船快速檢測方法，同時實現(xiàn)了任意朝向艦船的定位，檢測速度較快。同時Fang等人[13]提出一種解決遙感圖像中尺度多樣性和小目標(biāo)檢測問題的方案，能夠精細(xì)空間細(xì)節(jié)，能夠較好地檢測到遙感圖像中的小目標(biāo)，但是有些遙感圖像中存在尺度較大的目標(biāo)，該方法也不能較好地同時檢測到尺度差距較大的不同目標(biāo)。由于SAR圖像背景復(fù)雜，目標(biāo)和背景雜物難以被區(qū)分，容易產(chǎn)生很多漏檢和虛警。單階段檢測方法容易忽略底層目標(biāo)的特征，使得小目標(biāo)難以被檢測。為了提取到更多的目標(biāo)特征，需要充分利用多層次特征，采用兩階段檢測方法可以將目標(biāo)檢測率大大提高。為了更好地解決多尺度目標(biāo)檢測問題，Lin等人[14]提出了一種基于特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks,FPN)的多尺度特征表示方法，該方法可以較好地檢測出多尺度目標(biāo)，而且檢測率較好，但是對尺度比例相差巨大的目標(biāo)檢測效果較差。為了解決多尺度、多場景的SAR圖像目標(biāo)檢測問題，文獻(xiàn)[15,16]提出基于Faster-RCNN的稠密鏈接多尺度網(wǎng)絡(luò)，能夠較好地提取目標(biāo)特征，但是該網(wǎng)絡(luò)耗時較長，也存在一定的虛警和漏檢。此外，顧佼佼等人[17]提出改進Faster RCNN的艦船檢測方法，初步解決了特征提取不充分和重復(fù)檢測問題。Nie等人[18]提出基于MASKRCNN模型的艦船檢測算法，解決了小型艦船和大型艦船同時被檢測問題，但是出現(xiàn)小型艦船檢測性能上升和大型艦船檢測性能下降等結(jié)果。陳華杰等人[19]根據(jù)艦船目標(biāo)具有較大長寬比的特點，提出了基于密集子區(qū)域切割的艦船快速檢測方法，降低了虛警率，提高了檢測速度。

通過以上分析知道，傳統(tǒng)的CFAR目標(biāo)檢測算法對簡單場景進行目標(biāo)檢測效果還不錯，并且也可以較好地進行多尺度目標(biāo)檢測，但是對于多類別復(fù)雜的大場景SAR圖像而言，多尺度目標(biāo)檢測性能有所下降。針對尺寸很大和尺寸很小的目標(biāo)，也存在小目標(biāo)漏檢或者大目標(biāo)漏檢以及虛警的問題。現(xiàn)今流行的基于深度學(xué)習(xí)的目標(biāo)檢測算法對多尺度目標(biāo)檢測效果也很好，依然存在多類別復(fù)雜的大場景SAR圖像檢測性能下降，特別是尺寸很大和尺寸很小的目標(biāo)檢測性能較差的問題。因此現(xiàn)階段的目標(biāo)檢測算法還不能較好地同時檢測到不同類別的尺寸相差很大的目標(biāo)，比如大尺度機場目標(biāo)和小尺度艦船目標(biāo)。在同一幅SAR圖像中，目標(biāo)尺寸大小或者是目標(biāo)所占像素大小相差較大的不同目標(biāo)，稱為跨尺度目標(biāo)，其中，跨尺度是指不同目標(biāo)的尺度比例相差較大而呈現(xiàn)出大尺度和小尺度。如圖1(a)表示跨尺度機場目標(biāo)和艦船目標(biāo)，圖1(b)表示跨尺度艦船目標(biāo)。在FPN[14]中，提出了一種基于特征金字塔網(wǎng)絡(luò)的多尺度特征表示方法，并且受到文獻(xiàn)[16]的啟發(fā)，本文提出了一種基于特征轉(zhuǎn)移金字塔網(wǎng)絡(luò)(Feature-Transferrable Pyramid Network,FTPN)的SAR圖像跨尺度目標(biāo)檢測算法。首先，利用殘差網(wǎng)絡(luò)對SAR圖像進行特征提取，經(jīng)過多個池化層輸出不同尺度的特征圖，并且將每一層的特征圖都轉(zhuǎn)移到后面每一層的特征層上，避免了隨著網(wǎng)絡(luò)深度的加深而目標(biāo)特征減少的問題，在下采樣的最后階段網(wǎng)絡(luò)層中加入空洞卷積，讓大尺度目標(biāo)的特征被提取，然后將特征轉(zhuǎn)移后的不同層的特征圖送入特征金字塔網(wǎng)絡(luò)進行特征融合，能夠盡可能地保留密集排列以及尺度相差巨大的目標(biāo)特征，最后將融合后的特征送入?yún)^(qū)域候選網(wǎng)絡(luò)(Region Proposal Network,RPN)[15]進行預(yù)測候選框輸出。試驗結(jié)果表明，所提出的方法可以將復(fù)雜SAR圖像中密集排列的目標(biāo)和跨尺度目標(biāo)檢測出來，并且具有優(yōu)異的檢測性能。

圖1 跨尺度目標(biāo)Fig.1 Cross-scale objects

2 算法設(shè)計

本章節(jié)將詳細(xì)介紹FTPN的關(guān)鍵組件特征轉(zhuǎn)移層和空洞卷積群，然后再詳細(xì)介紹FTPN的結(jié)構(gòu)。

2.1 提出方法的思想

在SAR圖像多尺度目標(biāo)檢測中，充分利用不同層次之間的特征對最終檢測到不同尺度的目標(biāo)具有很重要的作用。因此，Zhang等人[20]針對遙感圖像中地面小目標(biāo)和大目標(biāo)展開分析，提出了一種基于密集連接和多尺度融合的檢測網(wǎng)絡(luò)，主要是把圖像中目標(biāo)的多尺度特征進行融合，提高了多尺度目標(biāo)檢測的性能，但是試驗中的多尺度目標(biāo)尺度比例相差不大，并且大小尺度目標(biāo)檢測效果不好，也沒有涉及關(guān)于跨尺度目標(biāo)檢測的概念。與文獻(xiàn)[20]中采用的密集連接和特征融合相比，本文方法是在自底向上過程中進行特征轉(zhuǎn)移形成FTPN，在特征轉(zhuǎn)移層進行轉(zhuǎn)移操作，將每一層的特征圖都轉(zhuǎn)移到后面每一層的特征層上，并且在下采樣最后階段網(wǎng)絡(luò)層中加入空洞卷積，更大程度地保留了小尺度和大尺度目標(biāo)的特征，這樣對尺度比例相差巨大的目標(biāo)才更有針對性。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的詳細(xì)描述

2.2.1 特征轉(zhuǎn)移層

為了將SAR圖像中各種不同類型、不同尺度的目標(biāo)特征盡可能地提取出來，在文獻(xiàn)[21]和文獻(xiàn)[22]的啟發(fā)下，本文提出了特征轉(zhuǎn)移層。

原始模型特征金字塔網(wǎng)絡(luò)特征提取階段采用的是網(wǎng)絡(luò)的前向過程，而整個前向過程中，特征圖的大小會隨著網(wǎng)絡(luò)層的增加而發(fā)生部分改變，將特征圖沒有發(fā)生改變的層作為一個階段，并把這個階段的輸出作為后階段將要提取的特征。在整個過程中，隨著網(wǎng)絡(luò)層數(shù)的增加，SAR圖像中部分目標(biāo)特征消失，保證低層網(wǎng)絡(luò)在提取特征時不丟失小目標(biāo)特征的同時，也能夠讓高層網(wǎng)絡(luò)更準(zhǔn)確地提取大目標(biāo)特征，我們將每一個階段的所有特征轉(zhuǎn)移到后面每一個階段的特征圖上，充分把SAR圖像上的小目標(biāo)特征保留，使得每一個階段的特征圖都存在小目標(biāo)特征。在特征轉(zhuǎn)移層中，整個特征轉(zhuǎn)移后會進行特征的有效連接，是將每一個階段輸出的特征進行跨階段的轉(zhuǎn)移，在整個過程中通過池化操作讓每一層中的特征圖的大小保持一致，比如，第2個階段Conv2上的特征轉(zhuǎn)移到第4個階段Conv4時，池化窗口大小為2，步長為4，保證了Conv4階段輸入進來的不同階段特征圖的大小都是一致的。其中，對于每一個階段中輸入的多個特征，我們都進行有效連接合并，但是連接合并之后的特征維數(shù)增加，為了使維數(shù)跟原本階段的特征輸入維數(shù)一樣，我們需要對轉(zhuǎn)移之后進行連接的特征通過一個1×1的卷積來降維，保證卷積核的通道數(shù)和輸入特征通道數(shù)相同。

除此之外，每一個階段互相連接，不僅提高了低層網(wǎng)絡(luò)和高層網(wǎng)絡(luò)之間最大程度信息傳遞的能力，還減少了梯度消失的問題，盡可能地保留了SAR圖像中各種大小尺度不一的目標(biāo)特征信息，能夠?qū)⑿〕叨饶繕?biāo)和大尺度目標(biāo)的特征提取，特別是能夠很好地將較小目標(biāo)或者極小目標(biāo)的特征提取，促使后續(xù)特征融合效果更好，也為了能夠檢測到更多的不同類型、不同尺度的目標(biāo)，特征轉(zhuǎn)移網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 特征轉(zhuǎn)移網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Feature-transferrable network structure

2.2.2 空洞卷積群

由于SAR圖像中存在著跨尺度目標(biāo)，大尺度目標(biāo)的尺寸巨大，在卷積網(wǎng)絡(luò)中進行特征提取時，出現(xiàn)了特征提取消失的問題。特征轉(zhuǎn)移層能保留SAR圖像中不同尺度的目標(biāo)特征，特別是在保留了更多小目標(biāo)特征的條件下，為了提取到SAR圖像中較大尺度和更大尺度的目標(biāo)特征，我們在標(biāo)準(zhǔn)的卷積中注入空洞，來增加感受野，在特征轉(zhuǎn)移層中引入空洞卷積，通過調(diào)節(jié)擴張率來控制數(shù)據(jù)間距，在不降低特征分辨率的情況下，增大特征提取感受野，獲得更高層的語義信息，設(shè)置的擴張率越大，其對應(yīng)的卷積核大小越大，特征提取感受野越大。帶擴張率的卷積核大小如式(1)所示，空洞卷積感受野的計算方式如式(2)、式(3)所示。

其中，K為初始卷積核大小(Kernel size)，取值為3，D為擴張率(Dilation rate),Ri為第i層的感受野(Receptive field)，相鄰權(quán)重之間的間隔為D–1，普通卷積的D默認(rèn)為1。

由上可知感受野的大小隨著擴張率的增大而增大。例如，對于一個3×3的卷積層，當(dāng)D=1時，對應(yīng)的卷積核大小為3；當(dāng)D=24時，對應(yīng)的卷積核大小為49。擴張率分別為{1,6,12,18,24}形成有梯度的并聯(lián)結(jié)構(gòu)的空洞卷積群，如圖3所示。設(shè)置不同的擴張率，使得感受野的大小在原有的基礎(chǔ)上擴大了幾十倍，并且對應(yīng)連接階段的特征圖將會分別并行通過此空洞卷積群中的空洞卷積，來獲取到SAR圖像中尺寸巨大的目標(biāo)。

由圖3可以知道，初始卷積核大小為3×3，其中rate為擴張率，以設(shè)置不同的擴張率如{1,6,12,18,24}來實現(xiàn)不同的并列的空洞卷積群。當(dāng)擴張率為1時，感受野大小不變，重點就是為了保留小目標(biāo)的特征；當(dāng)擴張率為24時，能夠?qū)⑤^大或者巨大尺度目標(biāo)的特征進行提取。由圖3可知隨著擴張率的逐漸增大，感受野大小也在逐漸增大。空洞卷積群的提出，更好地解決了大尺度目標(biāo)難以被檢測的問題。

圖3 空洞卷積群Fig.3 Dilated convolution group

2.2.3 網(wǎng)絡(luò)結(jié)構(gòu)

受到文獻(xiàn)[16]的啟發(fā)，我們設(shè)計了如圖4所示的FTPN,FTPN由自下而上的密集特征轉(zhuǎn)移網(wǎng)絡(luò)、橫向連接和自上而下的上采樣過程組成，其中Res-Net101是整個網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)。首先，將Conv1,Conv2,Conv3,Conv4,Conv5階段進行特征轉(zhuǎn)移，將后面4個階段的最后一個殘差塊的輸出作為{C2,C3,C4,C5}，在每兩個階段之間形成特征轉(zhuǎn)移層，并在最后兩個階段之間加入空洞卷積群，形成特征轉(zhuǎn)移網(wǎng)絡(luò)，利于網(wǎng)絡(luò)能夠提取到SAR圖像跨尺度目標(biāo)特征。然后，在自上而下的網(wǎng)絡(luò)中，對高層語義信息更強的特征圖進行上采樣，生成分辨率更高的特征圖。最后，通過橫向連接將自下而上和自上而下過程中相同空間大小的特征圖進行融合，主要是采用1×1的卷積核進行連接，可以更加充分地利用底層定位細(xì)節(jié)信息。將低分辨率的特征圖做2倍上采樣，將上采樣映射與相應(yīng)的自底向上映射進行合并，為了減少混疊效應(yīng)，再在合并的圖上附加一個3×3的卷積生成最終的特征圖并作為{P2,P3,P4,P5}，分別與{C2,C3,C4,C5}相對應(yīng)，并且具有相同的空間尺寸。綜上所述，F(xiàn)TPN流程如式(4)、式(5)所示。

圖4 FTPN的框架Fig.4 Framework of FTPN

其中，F(xiàn)Cm表示自底向上過程中Convm階段生產(chǎn)的特征圖，F(xiàn)TCn表示自頂向下過程中Convn階段之前每一個階段生成的特征圖的總和，F(xiàn)TL表示特征轉(zhuǎn)移層。其中Subsampled表示下采樣操作，P表示生成的特征圖，Upsampling表示上采樣操作。

本文使用的FTPN代替了沒有特征轉(zhuǎn)移的單尺度特征圖來適應(yīng)RPN。由于本文方法在特征提取階段能將SAR圖像中不同尺度的目標(biāo)特征提取到，比如尺寸差異較大的目標(biāo)特征被提取。在保證所有各種不同尺度的目標(biāo)特征被提取的前提下，我們設(shè)置5種不同的anchor scales{322,642,1282,2562，5122}并分別分配到{P2,P3,P4,P5,P6}上，其中，P6是在P5的基礎(chǔ)上經(jīng)過一個步長為2的最大池化層所得。{P2,P3,P4,P5,P6}對應(yīng)的通道數(shù)為{32,128,512,1024,2048}，并對anchor設(shè)置了不同的比例{1:1,1:2,1:3,3:1,2:1,2:3,3:2}。最后，把Faster-RCNN的分類器和邊界框回歸器附加到RPN得到的所有不同級別感興趣的區(qū)域上，最終作為SAR圖像跨尺度目標(biāo)檢測結(jié)果[16]。

3 試驗與結(jié)果分析

本節(jié)首先介紹試驗所需要的所有數(shù)據(jù)集，然后再介紹本文檢測結(jié)果的評估標(biāo)準(zhǔn)，對提出的創(chuàng)新點分別做消融試驗驗證，再與現(xiàn)階段先進的目標(biāo)檢測網(wǎng)絡(luò)進行對比試驗以及尺度比對目標(biāo)檢測結(jié)果的影響，最后驗證了FTPN對SAR圖像跨尺度目標(biāo)檢測的有效性。所有的試驗都在Intel(R) Core(TM) i7-8700 CPU和NVIDIA GeForce GTX 1070 GPU上進行，操作系統(tǒng)是Linux。

3.1 試驗設(shè)置與數(shù)據(jù)

本文所使用的數(shù)據(jù)集為：SSDD數(shù)據(jù)集[23]、AIR-SARShip-1.0[24]、高分辨率SAR艦船檢測數(shù)據(jù)集-2.0和SAR-Ship-Dataset[25]、高分三號機場數(shù)據(jù)集。這些數(shù)據(jù)集包含了不同極化方式、不同分辨率以及不同傳感器等多種SAR圖像，而機場數(shù)據(jù)集也因為不同分辨率的SAR圖像存在著不同尺度的機場目標(biāo)。SAR圖像中近海岸的機場目標(biāo)相對近岸的艦船來講尺度巨大，并且近岸也存在超大尺度艦船和超小尺度艦船。

考慮數(shù)據(jù)均衡問題，本文選取SSDD數(shù)據(jù)集一共1160幅SAR圖像、AIR-SARShip-1.0數(shù)據(jù)集一共31幅SAR圖像、高分辨率SAR艦船檢測數(shù)據(jù)集-2.0一共300幅SAR圖像、SAR-Ship-Dataset一共2000幅SAR圖像和高分三號機場數(shù)據(jù)集一共60幅SAR圖像，數(shù)據(jù)集中SAR圖像一共3551幅，并且按照7:2:1的比例將數(shù)據(jù)集隨機劃分為訓(xùn)練集、驗證集、測試集。考慮機場數(shù)據(jù)集屬于小樣本，數(shù)量極少，因此通過翻轉(zhuǎn)、旋轉(zhuǎn)、隨機裁剪和增亮等數(shù)據(jù)增強方式將42幅機場訓(xùn)練集增加到1680幅。由統(tǒng)計可知，用于試驗的數(shù)據(jù)集一共5189張，其中用于試驗的訓(xùn)練集一共4124張，驗證集一共710張，測試集一共355張。采用的骨干網(wǎng)是ResNet101，并且已經(jīng)在ImageNet上進行了預(yù)訓(xùn)練。設(shè)置的初始學(xué)習(xí)率為0.001，衰減比為0.1，動量為0.9，權(quán)重衰減為0.00004。

3.2 評估指標(biāo)

為了定量評估網(wǎng)絡(luò)的性能，我們采用了一些評估指標(biāo)，對檢測結(jié)果進行定義，主要有4種方式：正確的正樣本(True Positives,TP)、正確的負(fù)樣本(True Negatives,TN)、假的正樣本(False Positives,FP)、假的負(fù)樣本(False Negatives,FN)。而本文主要采用了目標(biāo)檢測中常用的召回率(Recall)、精確率(Precision)、平均精度(Average Precision,AP)、平均精度均值(mean Average Precision,mAP)來評價網(wǎng)絡(luò)模型的性能。式(6)表示召回率的計算，式(7)表示精確率的計算，式(8)表示平均精度的計算，式(9)表示平均精度均值的計算。

AP是根據(jù)每一張圖像的召回率及精確率來確定的，以召回率為橫軸，精確率為縱軸，繪制出坐標(biāo)曲線，而AP就是該曲線與坐標(biāo)軸圍成的面積。其中P表示單點的精確率，R表示單點的召回率。

其中在計算mAP時，AP(i)和n分別為某一類的檢測平均精度和類別數(shù)。

3.3 試驗結(jié)果及分析

基于本文所提出的FTPN，本節(jié)首先將特征轉(zhuǎn)移前后的網(wǎng)絡(luò)進行自身對比試驗，然后再與現(xiàn)今最新的目標(biāo)檢測網(wǎng)絡(luò)進行測試對比。

3.3.1 特征轉(zhuǎn)移對檢測結(jié)果的影響

本文提出的FTPN能夠獲取到密集目標(biāo)和跨尺度目標(biāo)特征。為了驗證特征轉(zhuǎn)移層對最終檢測結(jié)果的影響，我們將模型中{C2,C3,C4,C5}之間進行特征轉(zhuǎn)移，每兩個模塊之間形成特征轉(zhuǎn)移層。盡可能地提取到更多的不同類型不同型號的目標(biāo)特征，特別是能提取到小目標(biāo)的特征。本文在已有的數(shù)據(jù)集中挑選出比較典型的復(fù)雜場景SAR圖像，不僅包含了小目標(biāo)艦船，還包含了大型艦船，并且各目標(biāo)之間處于密集緊挨的狀態(tài)，分別為遠(yuǎn)岸的密集艦船和近岸的密集排列艦船。基于SSDD數(shù)據(jù)集，在相同的試驗設(shè)置且只有特征轉(zhuǎn)移的條件下，我們對試驗數(shù)據(jù)測試集進行測試，測試結(jié)果如圖5所示。

由圖5可以看出，沒有采用特征轉(zhuǎn)移層的方法檢測效果一般，并且存在一定的虛警和漏檢；而采用了特征轉(zhuǎn)移層的方法能夠?qū)⒋笮〕叨炔灰坏呐灤瑱z測出來。相比沒有特征轉(zhuǎn)移層的算法而言，本文方法的檢測率更高，虛警率更低，能夠提取到更多的目標(biāo)特征，并且檢測效果更好。

圖5 特征轉(zhuǎn)移層對檢測結(jié)果的影響Fig.5 Influence of feature-transfer layer on detection results

為了體現(xiàn)本文方法的真實性能，基于SSDD數(shù)據(jù)集、AIR-SARShip-1.0、高分辨率SAR艦船檢測數(shù)據(jù)集-2.0和SAR-Ship-Dataset的測試數(shù)據(jù)集的總和，本文采用標(biāo)準(zhǔn)的評估指標(biāo)mAP來進行評價。mAP值越低表示算法的檢測性能越差，mAP值越高表示算法的檢測性能越好。如表1所示，可見特征轉(zhuǎn)移層對最終的檢測性能有明顯的改善，mAP值較高，說明FTPN具有更好的性能。

由表1可知，沒有加入特征轉(zhuǎn)移層的網(wǎng)絡(luò)mAP值為88.4%，而本文方法的mAP值為92.8%，相比之下，提出的創(chuàng)新方法可以讓模型的mAP提高4.4個百分點。本文方法通過特征轉(zhuǎn)移使得SAR圖像中不同類型不同尺度的目標(biāo)特征能夠盡可能地被提取，使得更多的目標(biāo)特征被融合且效果更好，最終檢測網(wǎng)絡(luò)進行目標(biāo)檢測時性能越好。

表1 特征轉(zhuǎn)移層對檢測結(jié)果的影響Tab.1 The influence of feature-transfer layer on detection results

3.3.2 空洞卷積群對檢測結(jié)果的影響

在本文中，由于SAR圖像中存在不同類別的不同尺度的目標(biāo)，特別是在一些大場景SAR圖像中，同時存在尺寸相差很大的SAR目標(biāo)，比如大尺度機場和小尺度艦船。而這類目標(biāo)往往不能夠被同時檢測，最主要的原因是特征提取網(wǎng)絡(luò)很難將這類目標(biāo)的特征進行提取。為了驗證本文提出的空洞卷積群對最終檢測結(jié)果的影響，在模型中{C4,C5}之間插入空洞卷積群，在保證SAR圖像中小目標(biāo)特征不丟失的同時，將SAR圖像中大尺度目標(biāo)的特征保留下來。基于SSDD數(shù)據(jù)集和高分三號機場數(shù)據(jù)集，在相同的試驗設(shè)置且只有空洞卷積群的條件下，對試驗數(shù)據(jù)測試集進行測試，檢測結(jié)果如圖6所示。

由圖6可知，沒有采用空洞卷積群的方法同時檢測到尺度差異較大的目標(biāo)性能比較差，存在目標(biāo)漏檢；而采用了空洞卷積群的方法能夠?qū)⑷鐖D所示的大機場和小艦船同時檢測出來。相比沒有空洞卷積群的算法而言，本文方法的檢測效果更好，能夠更好地提取到尺度差異較大目標(biāo)的特征，并且能夠?qū)崿F(xiàn)跨尺度目標(biāo)檢測。

圖6 空洞卷積群對檢測結(jié)果的影響Fig.6 Influence of dilated convolution group on detection results

為了體現(xiàn)本文方法的真實性能，基于SSDD數(shù)據(jù)集、AIR-SARShip-1.0、高分辨率SAR艦船檢測數(shù)據(jù)集-2.0和SAR-Ship-Dataset的測試數(shù)據(jù)集的總和，采用標(biāo)準(zhǔn)的評估指標(biāo)mAP來進行評價。mAP值越低表示算法的檢測性能越差，mAP值越高表示算法的檢測性能越好。如表2所示，可見空洞卷積群對最終檢測性能有明顯的改善，mAP值較高，說明提出網(wǎng)絡(luò)具有更好的性能。

由表2可以看出，沒有加入空洞卷積群的網(wǎng)絡(luò)mAP值為88.4%，而本文方法的mAP值為92.1%，相比之下，提出的創(chuàng)新方法可以讓模型的mAP提高3.7個百分點。本文方法通過空洞卷積群使得小尺度目標(biāo)特征和大尺度目標(biāo)特征更容易被提取，并且在特征融合階段讓更多的目標(biāo)特征能夠被融合，最終檢測網(wǎng)絡(luò)進行目標(biāo)檢測時性能更好。

表2 空洞卷積群對檢測結(jié)果的影響Tab.2 Influence of dilated convolution group on detection results

此外，為了驗證本文提出的空洞卷積群有更好的檢測效果，將本文與主干網(wǎng)絡(luò)不同感受野下的檢測效果進行了對比。通過改變主干網(wǎng)絡(luò)的層數(shù)來改變網(wǎng)絡(luò)的感受野，網(wǎng)絡(luò)層數(shù)越低，感受野則越小，網(wǎng)絡(luò)層數(shù)越高，則感受野越大。因此，本文分別與resnet50,resnet101和resnet152進行試驗對比，并且最終將3種小、中、大感受野下的檢測效果與本文提出的空洞卷積群下的檢測效果進行對比。不同感受野下的檢測結(jié)果如圖7所示。

由圖7可知：當(dāng)使用resnet50為主干網(wǎng)絡(luò)時，感受野相對較小，從檢測結(jié)果圖可以看出大目標(biāo)的檢測效果不佳，更大目標(biāo)存在漏檢，也存在部分小目標(biāo)漏檢；當(dāng)使用resnet101為主干網(wǎng)絡(luò)時，感受野相對較大，從檢測結(jié)果圖上可以看出部分大目標(biāo)檢測效果較差，且小目標(biāo)部分漏檢；當(dāng)使用resnet152為主干網(wǎng)絡(luò)時，感受野相對更大，從檢測結(jié)果圖可以看出部分大目標(biāo)被檢測，但效果不好且存在很多虛警，部分小目標(biāo)漏檢；而本文提出的空洞卷積群卻相對更好地將跨尺度目標(biāo)同時檢測出來，并且虛警和漏檢都很少。除此之外，resnet50,resnet101和resnet152的檢測時間分別逐漸增加，而加入空洞卷積群之后的網(wǎng)絡(luò)檢測時間幾乎不變。最終試驗結(jié)果證明本文提出的空洞卷積群的檢測性能更好。

圖7 不同感受野的檢測結(jié)果Fig.7 Detection results of different receptive fields

3.3.3 與其他算法的比較

現(xiàn)將本文提出的方法和現(xiàn)階段先進的目標(biāo)檢測算法在基于SSDD數(shù)據(jù)集和高分三號機場數(shù)據(jù)集進行試驗對比，在網(wǎng)絡(luò)檢測結(jié)果對比試驗中添加了基于深度學(xué)習(xí)目標(biāo)檢測網(wǎng)絡(luò)，比如基于單階段的目標(biāo)檢測網(wǎng)YOLOv4[26],YOLOv5，基于雙階段的目標(biāo)檢測網(wǎng)絡(luò)改進的Faster R-CNN[15],PANet[27],DAPN[28]，以及基于anchor free的目標(biāo)檢測網(wǎng)絡(luò)SGE-centernet[29]。為了驗證本文方法是否具有同時檢測出尺寸差異較大的目標(biāo)的檢測性能，本研究團隊在數(shù)據(jù)集中挑選了具有尺度差距較大的SAR圖像，由于YOLOv4中包含PANet網(wǎng)絡(luò)結(jié)構(gòu)且與YOLOv5檢測性能幾乎一樣，所以挑選出YOLOv4,DAPN,SGE-centernet與本文方法進行試驗驗證對比。試驗驗證對比結(jié)果如圖8所示。

由圖8可知，YOLOv4的檢測結(jié)果中大目標(biāo)和小目標(biāo)漏檢，小目標(biāo)漏檢情況較為嚴(yán)重；DAPN的檢測結(jié)果中出現(xiàn)了部分虛警，大目標(biāo)和小目標(biāo)漏檢；SGE-centernet的檢測結(jié)果較為良好，大目標(biāo)未被檢測，部分小目標(biāo)漏檢。相比其他幾個先進的目標(biāo)檢測算法而言，本文方法在跨尺度目標(biāo)檢測上面也表現(xiàn)出不錯的性能，不僅能夠?qū)⒊叨刃〉呐灤繕?biāo)檢測出來，還能將尺度較大的艦船目標(biāo)和機場目標(biāo)檢測出來，雖然存在個別虛警和漏檢，但是已經(jīng)初步解決尺度比例相差巨大的目標(biāo)難以同時被檢測出來的問題，實現(xiàn)了SAR圖像跨尺度目標(biāo)檢測。為了驗證本文方法的真實檢測性能，基于SSDD數(shù)據(jù)集、AIR-SARShip-1.0、高分辨率SAR艦船檢測數(shù)據(jù)集-2.0和SAR-Ship-Dataset測試數(shù)據(jù)集的總和，與其他先進的目標(biāo)檢測網(wǎng)絡(luò)相比較，在相同數(shù)據(jù)集下進行算法驗證，由于機場數(shù)據(jù)集屬于小樣本，測試數(shù)據(jù)很少，目標(biāo)檢測率為100%，但是數(shù)據(jù)樣本較少，用mAP值進行評估時，不能作為判斷模型好壞的標(biāo)準(zhǔn)，因此文章中計算的mAP達(dá)到96.5%并沒有包含機場數(shù)據(jù)集，文章中對模型進行評估時，所采用的mAP值評估的是所有數(shù)據(jù)集下SAR圖像艦船目標(biāo)，由于艦船目標(biāo)數(shù)量較多，并且該數(shù)據(jù)集中也存在跨尺度目標(biāo)，因此能作為判斷模型好壞的標(biāo)準(zhǔn)。各算法目標(biāo)檢測性能比較如表3所示。

圖8 與其他方法的比較Fig.8 Comparison with other methods

由表3可知，F(xiàn)aster R-CNN和Improved Faster R-CNN是端到端two-stage檢測算法，SSD和YOLOv4是端到端one-stage檢測算法，兩種類型的算法都是目前先進的目標(biāo)檢測算法。從目標(biāo)檢測性能mAP值可以看出，本文方法的mAP值為96.5%，相比端到端two-stage檢測算法，比流行的Faster R-CNN算法的mAP值高出26.4個百分點，比改進后的Faster R-CNN高出7.7個百分點，比DAPN高出6.7個百分點，比PANet高5.7個百分點；相比端到端one-stage檢測算法，比SSD檢測算法mAP值高出18 個百分點，比先進的目標(biāo)檢測算法YOLOv4高出8.3個百分點，比YOLOv5高出8個百分點；比基于anchor free的SGE-CenterNet高出2.6個百分點。在同一數(shù)據(jù)集試驗下，本文方法檢測性能更佳，能夠有效地提取到更多的目標(biāo)特征，目標(biāo)檢測精度更高，驗證了本文方法的優(yōu)越性。

表3 與先進的目標(biāo)檢測網(wǎng)絡(luò)相比Tab.3 Compared with advanced object detection networks

除此之外，本文方法還對大場景SAR圖像進行目標(biāo)檢測，基于SSDD數(shù)據(jù)集、高分辨率SAR艦船檢測數(shù)據(jù)集-2.0和高分三號機場數(shù)據(jù)集，在相同的試驗設(shè)置條件下進行測試，測試結(jié)果如圖9所示。所使用的測試圖不存在官方的真值數(shù)據(jù)標(biāo)簽，其中大場景SAR圖像中的機場目標(biāo)屬于小樣本數(shù)據(jù)，因此對機場和艦船兩類目標(biāo)進行檢測精度的分開統(tǒng)計。

圖9 大場景SAR圖像跨尺度目標(biāo)檢測結(jié)果Fig.9 Cross-scale object detection results in large scene SAR images

本團隊對大場景SAR圖像檢測結(jié)果圖中兩類目標(biāo)的個數(shù)以及目標(biāo)檢測個數(shù)進行了人工統(tǒng)計，并且統(tǒng)計到機場真值目標(biāo)個數(shù)一共3個，艦船真值目標(biāo)個數(shù)為80個，并且設(shè)置N為SAR圖像中某一類目標(biāo)的真值總數(shù)，n為正確檢測到某一類目標(biāo)的總數(shù)，m表示漏檢個數(shù)，f表示虛警個數(shù)。用DP表示檢測概率，MP表示漏檢概率，F(xiàn)P表示虛警概率，如式10–式12所示。機場目標(biāo)和艦船目標(biāo)的結(jié)果統(tǒng)計如表4所示。

由表4可以知道，機場的檢測概率為100%，漏檢概率為0%，虛警概率為0%；艦船的檢測概率為95%，漏檢概率為5%，虛警概率為6.25%。分析可知，檢測結(jié)果圖為復(fù)雜背景的大場景SAR圖像，艦船目標(biāo)在圖像中所占比例極小，不容易被檢測到，并且容易出現(xiàn)虛警。

表4 機場目標(biāo)和艦船目標(biāo)的結(jié)果統(tǒng)計Tab.4 Result statistics for airport and ship objects

3.3.4 不同尺度比的檢測結(jié)果

在本文中，定義尺度比即大目標(biāo)尺度與小目標(biāo)尺度的比值大小。由于SAR圖像中存在不同類型及不同尺度大小的目標(biāo)，由此可見SAR圖像中不同目標(biāo)之間存在不同的尺度比。為了驗證尺度比對目標(biāo)檢測識別結(jié)果的影響，現(xiàn)挑選了幾幅有幾種不同尺度比的大場景SAR圖像進行試驗驗證，分別為以下4種類型的目標(biāo)：從圖10(a)到圖10(d)目標(biāo)尺度比值逐漸增大，試驗驗證結(jié)果如圖10所示。

試驗結(jié)果表明本文提出的方法可以提取到更多不同尺度的目標(biāo)特征，本文方法不僅可以兼顧不同尺度比的目標(biāo)，還可以將目標(biāo)尺度比例較小、目標(biāo)尺度比值適中、目標(biāo)尺度比值較大、目標(biāo)尺度比值極大的目標(biāo)檢測出來，最終實現(xiàn)SAR圖像跨尺度目標(biāo)檢測。從圖10(a)可以看出SAR圖像中目標(biāo)尺度比值較小，各個目標(biāo)很容易被檢測出來；從圖10(b)可以看出尺度比值稍微偏大，SAR圖像出現(xiàn)了不同大小的目標(biāo)，但是檢測結(jié)果較好；從圖10(c)可以看出尺度比值較大，大尺度艦船目標(biāo)較大較長，小尺度艦船目標(biāo)較小較短，且整體檢測效果較好；而對于圖10(d)，SAR圖像中存在著尺度比值極大的目標(biāo)，比如同時存在大尺度艦船目標(biāo)和大尺度機場目標(biāo)以及小尺度艦船目標(biāo)，整體檢測結(jié)果較好，存在一個漏檢，實現(xiàn)了SAR圖像跨尺度目標(biāo)檢測。從分析尺度比對目標(biāo)檢測識別的結(jié)果來看，隨著尺度比的逐漸增大，檢測效果會呈現(xiàn)下降趨勢，檢測難度增加，尺度比越小，越表現(xiàn)出良好的檢測性能。

圖10 不同尺度比的檢測結(jié)果Fig.10 Detection results of different scale ratios

除此之外，針對一幅圖像中只有大尺度或者小尺度目標(biāo)等單一尺度下的目標(biāo)檢測問題，本文提出的方法仍然可以解決。本團隊為此增加不同的單一尺度目標(biāo)檢測試驗，挑選出典型的SAR圖像進行檢測：圖11(a)小尺度艦船、圖11(b)大尺度艦船和大尺度機場，檢測結(jié)果如圖11所示。

圖11試驗結(jié)果表明，本文提出的方法可以較好地將不同單一尺度的目標(biāo)檢測出來。事實上，本文提出的SAR跨尺度目標(biāo)檢測網(wǎng)絡(luò)在進行尺度相差較大目標(biāo)檢測時，所提出的空洞卷積群是并行處理送入的特征圖，不同尺度目標(biāo)的檢測過程其實是互不影響且不沖突的。并且通過特征轉(zhuǎn)移操作和空間卷積群操作，相當(dāng)于增加了檢測網(wǎng)絡(luò)對目標(biāo)尺度的容忍上下限，并不會造成顧此失彼的情況。

圖11 不同單一尺度的檢測結(jié)果Fig.11 Different single scale detection results

在本文測試試驗的355張數(shù)據(jù)中，統(tǒng)計出101張數(shù)據(jù)只包括小尺度艦船，35張數(shù)據(jù)只包括大尺度艦船，18張數(shù)據(jù)只包括大尺度機場，除此之外，還有201張數(shù)據(jù)只包括多尺度的目標(biāo)。為了驗證本文方法在不同單一尺度下的檢測性能，本團隊對小尺度艦船、大尺度艦船和大尺度機場數(shù)據(jù)進行了測試。根據(jù)統(tǒng)計結(jié)果，針對單一尺度目標(biāo)的檢測性能如表5所示。

由表5可知，本文提出的方法針對不同單一尺度的目標(biāo)進行檢測時，不同單一尺度的mAP值跟原有試驗的mAP值差距很小。因此，不同單一尺度試驗和原有試驗結(jié)果表明，本文的方法無論是針對單一尺度目標(biāo)檢測還是針對跨尺度目標(biāo)檢測，均有較好的性能。

表5 單一尺度目標(biāo)的檢測性能Tab.5 Single scale object detection performance

4 結(jié)論

合成孔徑雷達(dá)圖像目標(biāo)檢測任務(wù)具有重要的研究意義和實際價值，在SAR圖像中不僅僅存在尺度比例相近的目標(biāo)，還存在著尺度比例相差巨大的跨尺度目標(biāo)。針對SAR圖像中跨尺度目標(biāo)很難被檢測的問題，本文提出了一種基于特征轉(zhuǎn)移金字塔網(wǎng)絡(luò)的SAR圖像跨尺度目標(biāo)檢測方法，該方法將整個網(wǎng)絡(luò)的特征提取階段進行特征轉(zhuǎn)移，實現(xiàn)高層的特征圖輸出都存在大小尺度的目標(biāo)特征，同時在高層網(wǎng)絡(luò)中加入空洞卷積群，不僅保證了小目標(biāo)特征不會消失，還能提取到大目標(biāo)的特征。試驗結(jié)果表明，該方法能夠?qū)AR圖像中跨尺度目標(biāo)檢測出來。除此之外，在同一數(shù)據(jù)集下，分別做了特征轉(zhuǎn)移和空洞卷積群對檢測結(jié)果影響的驗證，并與其他先進的目標(biāo)檢測算法進行跨尺度目標(biāo)檢測試驗驗證，試驗結(jié)果表明本文方法的檢測性能更優(yōu)且能檢測到跨尺度目標(biāo)。