999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

特征圖知識(shí)蒸餾引導(dǎo)的輕量化任意方向SAR艦船目標(biāo)檢測(cè)器

2023-03-06 09:00:22陳詩(shī)琪占榮輝劉盛啟
雷達(dá)學(xué)報(bào) 2023年1期
關(guān)鍵詞:前景特征檢測(cè)

陳詩(shī)琪 王 威 占榮輝 張 軍 劉盛啟

(國(guó)防科技大學(xué)自動(dòng)目標(biāo)識(shí)別重點(diǎn)實(shí)驗(yàn)室 長(zhǎng)沙 410073)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)作為一種主動(dòng)式微波成像傳感器,以其全天時(shí)、全天候、作用距離遠(yuǎn)的技術(shù)優(yōu)勢(shì),成為對(duì)地觀測(cè)的主要手段之一,廣泛應(yīng)用于軍事偵察和民用遙感領(lǐng)域[1,2]。近年來(lái),隨著SAR系統(tǒng)技術(shù)和成像算法的日趨成熟,國(guó)內(nèi)外多個(gè)先進(jìn)的SAR衛(wèi)星獲取了海量廣域高分辨率和高質(zhì)量的SAR圖像。SAR圖像艦船目標(biāo)檢測(cè)可實(shí)現(xiàn)寬闊海域和港口中目標(biāo)的快速提取定位,能為海洋交通、漁業(yè)管理、戰(zhàn)場(chǎng)態(tài)勢(shì)評(píng)估和軍事目標(biāo)偵察提供重要信息支撐。傳統(tǒng)的SAR圖像目標(biāo)檢測(cè)通常包含恒虛警率(Constant False Alarm Rate,CFAR)方法[3]和模板匹配方法[4]。前者需要構(gòu)建雜波統(tǒng)計(jì)模型來(lái)確定檢測(cè)閾值,參數(shù)估計(jì)和計(jì)算求解復(fù)雜耗時(shí);而后者需要建立全面的模板庫(kù),且常常依賴專家經(jīng)驗(yàn),泛化性能較差。

近年來(lái),深度學(xué)習(xí)憑借其強(qiáng)大的表征能力和特征學(xué)習(xí)能力在目標(biāo)分類(lèi)、檢測(cè)、分割等各類(lèi)任務(wù)中顯現(xiàn)出巨大的優(yōu)勢(shì),并且在SAR目標(biāo)檢測(cè)方面也取得了良好效果。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法無(wú)需海陸分割,能適應(yīng)于不同復(fù)雜程度的場(chǎng)景,具有高精度和高效性等優(yōu)點(diǎn)。文獻(xiàn)[5]通過(guò)改進(jìn)Faster RCNN[6]對(duì)艦船目標(biāo)進(jìn)行檢測(cè),結(jié)合了特征融合、遷移學(xué)習(xí)、難例樣本挖掘等策略在SSDD數(shù)據(jù)集上取得了79%的檢測(cè)精度。文獻(xiàn)[7]將單階段檢測(cè)器SSD[8]用于SAR艦船檢測(cè),提出輕量化特征優(yōu)化網(wǎng)絡(luò),通過(guò)雙向語(yǔ)義信息聚合與注意力機(jī)制改善了多尺度目標(biāo)的檢測(cè)性能。文獻(xiàn)[9]在YOLOv3網(wǎng)絡(luò)[10]的基礎(chǔ)上,采用深度可分離卷積網(wǎng)絡(luò)重新搭建輕量級(jí)網(wǎng)絡(luò)SARShipNet-20,結(jié)合了通道、空間注意力機(jī)制,能在提高檢測(cè)速度的同時(shí)達(dá)到較高的檢測(cè)精度。Gao等人[11]提出的SAR艦船目標(biāo)檢測(cè)器針對(duì)YOLOv4在特征融合結(jié)構(gòu)、解耦分類(lèi)和回歸分支以及輕量化檢測(cè)頭部進(jìn)行改進(jìn),所提網(wǎng)絡(luò)比原始網(wǎng)絡(luò)輕量化了約33.3%,參數(shù)量為42.6 M。Zhu等人[12]基于YOLOv5檢測(cè)器提出了高速高精度的檢測(cè)器H2Det,僅有14.4 M的參數(shù)量。文獻(xiàn)[13]在無(wú)錨框檢測(cè)器FCOS[14]的基礎(chǔ)上設(shè)計(jì)特征平衡和優(yōu)化網(wǎng)絡(luò),并結(jié)合注意力機(jī)制引導(dǎo)金字塔網(wǎng)絡(luò)不同層級(jí)特征的提取。文獻(xiàn)[15]提出了由海陸分割、分塊區(qū)域篩選和改進(jìn)的FCOS3部分構(gòu)成的大場(chǎng)景目標(biāo)檢測(cè)框架。該方法引入特征優(yōu)化模塊,且針對(duì)漏檢和虛警問(wèn)題優(yōu)化了位置回歸分支的特征表達(dá),從而提升定位精度。文獻(xiàn)[16]基于CenterNet[17]設(shè)計(jì)特征精修模塊以提取多尺度上下文信息并改進(jìn)了特征金字塔融合方式,同時(shí)為解決正負(fù)樣本不平衡問(wèn)題對(duì)檢測(cè)頭部進(jìn)行增強(qiáng)。

上述方法大多基于錨框遍歷機(jī)制,需要手工預(yù)設(shè)錨框尺寸、比例等屬性來(lái)初始定位目標(biāo),特征圖上產(chǎn)生的密集候選框不僅計(jì)算資源消耗大,且僅有少量候選區(qū)域能匹配目標(biāo)的高質(zhì)量錨框,由此會(huì)帶來(lái)嚴(yán)重的正負(fù)樣本不平衡問(wèn)題。此外,大多表征能力強(qiáng)的檢測(cè)骨干網(wǎng)絡(luò)體積龐大,網(wǎng)絡(luò)參數(shù)較多,一定程度能提升檢測(cè)精度但會(huì)導(dǎo)致檢測(cè)速度降低。

此外,當(dāng)前大多SAR艦船檢測(cè)方法用最小外接水平框定位目標(biāo),忽略了角度信息。當(dāng)目標(biāo)的長(zhǎng)寬比較大時(shí),檢測(cè)框會(huì)包含大量背景雜波區(qū)域且不能反映艦船分布的方向信息。當(dāng)多個(gè)目標(biāo)緊密排列時(shí),檢測(cè)框之間的交并比增大,在非極大值抑制(Non-Maximum Suppression,NMS)階段容易被濾除從而產(chǎn)生漏檢。為提升近岸艦船目標(biāo)的檢測(cè)性能,基于有向框標(biāo)記的艦船檢測(cè)方法受到了廣泛關(guān)注。文獻(xiàn)[18]第一次將旋轉(zhuǎn)角度加入目標(biāo)真值框?qū)崿F(xiàn)了基于SSD的SAR目標(biāo)方位角預(yù)測(cè),該方法通過(guò)結(jié)合線上難例挖掘、焦點(diǎn)損失等方法解決了正負(fù)樣本不平衡問(wèn)題。文獻(xiàn)[19]在RetinaNet框架[20]上提出尺度標(biāo)定方法來(lái)對(duì)齊特征圖輸出尺度和目標(biāo)尺度,并通過(guò)基于任務(wù)的注意力金字塔網(wǎng)絡(luò)解耦分類(lèi)和回歸任務(wù)的優(yōu)化過(guò)程。文獻(xiàn)[21]基于YOLOv3框架提出任意方向目標(biāo)檢測(cè)模型,通過(guò)設(shè)計(jì)多任務(wù)損失函數(shù)和方位角偏差校正能同時(shí)輸出垂直框和旋轉(zhuǎn)框。Fu等人[22]采用gliding vertex[23]中的旋轉(zhuǎn)框表示法,設(shè)計(jì)了動(dòng)態(tài)特征提取模塊來(lái)增強(qiáng)目標(biāo)的語(yǔ)義和空間信息,并根據(jù)SAR成像特性定義屬性散射中心點(diǎn)來(lái)引導(dǎo)特征自適應(yīng)學(xué)習(xí)。

上述旋轉(zhuǎn)目標(biāo)檢測(cè)方法大多由基于錨框的方法改進(jìn)而來(lái),需要設(shè)置不同角度參數(shù)的錨框以匹配旋轉(zhuǎn)候選區(qū)域,在復(fù)雜場(chǎng)景下難以正確匹配真實(shí)框。其次,這類(lèi)方法會(huì)引入大量依賴數(shù)據(jù)集而定的參數(shù),增加網(wǎng)絡(luò)的計(jì)算量和復(fù)雜度。再者,SAR圖像中艦船目標(biāo)既稀疏分布于空曠海域中,部分也密集分布于近岸區(qū)域。尤其在大場(chǎng)景圖像中大部分是背景區(qū)域,若采用基于錨框的方法會(huì)引入大量的重復(fù)計(jì)算,導(dǎo)致正負(fù)樣本分配嚴(yán)重失衡。最后,在實(shí)時(shí)性要求高的艦船檢測(cè)部署應(yīng)用中,不僅要考慮高檢測(cè)精度還需要輕量化的網(wǎng)絡(luò)模型和較好的實(shí)時(shí)性。在計(jì)算能力及存儲(chǔ)能力受限的移動(dòng)設(shè)備上部署神經(jīng)網(wǎng)絡(luò)模型更需要設(shè)計(jì)輕量化的骨干網(wǎng)絡(luò)和檢測(cè)頭。但現(xiàn)有的輕量化網(wǎng)絡(luò)[9,11,12]均根據(jù)現(xiàn)有的檢測(cè)器改進(jìn)或者直接設(shè)計(jì)輕量化網(wǎng)絡(luò),對(duì)骨干網(wǎng)絡(luò)的選取依賴較大。本文先學(xué)習(xí)表現(xiàn)好的教師網(wǎng)絡(luò),再通過(guò)模型壓縮得到學(xué)生網(wǎng)絡(luò),最后通過(guò)蒸餾結(jié)構(gòu)進(jìn)一步優(yōu)化學(xué)生網(wǎng)絡(luò)模型。

針對(duì)上述問(wèn)題,為減少計(jì)算資源并提升檢測(cè)方法的實(shí)用性,本文提出一種基于知識(shí)蒸餾的輕量化SAR任意方向艦船目標(biāo)檢測(cè)器。該檢測(cè)網(wǎng)絡(luò)能直接預(yù)測(cè)出目標(biāo)的中心點(diǎn)位置,長(zhǎng)寬以及方向角信息。檢測(cè)架構(gòu)由骨干網(wǎng)絡(luò)特征提取模塊和多分支預(yù)測(cè)模塊構(gòu)成。前者輸出像素級(jí)的概率圖,其中每個(gè)位置的值表明該像素屬于目標(biāo)區(qū)域的概率,后者通過(guò)回歸目標(biāo)的定位參數(shù)并解碼獲取最終的檢測(cè)結(jié)果。最后,在輕量化的學(xué)生網(wǎng)絡(luò)上提出基于像素點(diǎn)相似度的改進(jìn)熱度圖蒸餾和前景注意力區(qū)域引導(dǎo)的特征蒸餾。為彌補(bǔ)前景引導(dǎo)時(shí)上下文信息的缺失,提出全局語(yǔ)義模塊將像素間的關(guān)系建模為蒸餾對(duì)象。將來(lái)自教師模型的各層次暗知識(shí)傳遞到學(xué)生模型以提升檢測(cè)精度,最終得到輕量化、實(shí)時(shí)性強(qiáng)且定位精度高的SAR艦船檢測(cè)網(wǎng)絡(luò)模型。

2 檢測(cè)器整體框架

本文提出的輕量化檢測(cè)器主要由3部分構(gòu)成:特征提取骨干網(wǎng)絡(luò)、多分支檢測(cè)頭網(wǎng)絡(luò)以及蒸餾模塊。首先構(gòu)建基準(zhǔn)教師網(wǎng)絡(luò)檢測(cè)結(jié)構(gòu),其基礎(chǔ)框架如圖1所示:給定輸入圖像,采用編解碼骨干網(wǎng)絡(luò)輸出4倍下采樣高分辨率特征圖,同時(shí)將其作為前景注意力引導(dǎo)模塊的輸入使得網(wǎng)絡(luò)更加關(guān)注前景區(qū)域的特征。然后以中心點(diǎn)作為關(guān)鍵點(diǎn)代替錨框進(jìn)行熱度圖分類(lèi)和邊界框回歸,對(duì)輸出的偏置值、邊框位置參數(shù)以及角度參數(shù)進(jìn)行解碼可得旋轉(zhuǎn)框檢測(cè)結(jié)果。最后,為輕量化網(wǎng)絡(luò)的同時(shí)保持檢測(cè)精度,設(shè)計(jì)知識(shí)蒸餾模塊完成從教師網(wǎng)絡(luò)到學(xué)生網(wǎng)絡(luò)的模型知識(shí)遷移。

圖1 基于關(guān)鍵點(diǎn)的旋轉(zhuǎn)框檢測(cè)器整體框架Fig.1 Overall framework of keypoint-based oriented detector

2.1 骨干網(wǎng)絡(luò)

基于CenterNet的檢測(cè)器通常需要獲取高分辨率的熱度圖,而常用的網(wǎng)絡(luò)結(jié)構(gòu)如VGGNet,ResNet等獲取的最后一層特征圖分辨率較低,導(dǎo)致小目標(biāo)信息損失嚴(yán)重。U-Net和Hourglass采用高到低和低到高層特征圖雙向融合的方式以遞歸式結(jié)構(gòu)得到高分辨率特征圖,網(wǎng)絡(luò)復(fù)雜且效率較低。本文選取高分辨率網(wǎng)絡(luò)(High-Resolution Network,HRNet)[24]作為特征提取骨干網(wǎng)絡(luò)獲得具有豐富細(xì)粒度信息的特征。如圖2所示,HRNet能從輸入到輸出始終保持高分辨率特征圖,對(duì)于密集排列或者有輕微遮擋和重疊的目標(biāo)也能有效提取其關(guān)鍵點(diǎn)信息。

圖2 HRNet骨干網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Structure of HRNet backbone network

HRNet中大量殘差模塊會(huì)帶來(lái)龐大的參數(shù)量,本文選取深度可分離卷積和1×1卷積的結(jié)合代替常規(guī)卷積,由此輕量化網(wǎng)絡(luò)中的殘差模塊。為達(dá)到模型參數(shù)量和性能的平衡,在殘差模塊中保留一層常規(guī)卷積,另一層用輕量化卷積模塊代替,能減少大約一半的模型參數(shù)。得益于高分辨率網(wǎng)絡(luò)反復(fù)融合多尺度特征的特性,特征圖沒(méi)有因?yàn)檫B續(xù)下采樣而損失大量細(xì)節(jié)信息,一定程度保留了SAR圖像中小艦船目標(biāo)的信息。為增強(qiáng)網(wǎng)絡(luò)對(duì)多尺度目標(biāo)的特征提取能力,對(duì)HRNet輸出的4個(gè)階段的特征圖進(jìn)行自底向上的特征融合操作,取4倍下采樣的頂層特征圖作為檢測(cè)頭部的輸入特征。為使檢測(cè)頭輕量化,用5×5深度可分離卷積替換原始3×3卷積核,在不損失速度的同時(shí)增大卷積核的感受野,從而能覆蓋更多不同尺度的艦船目標(biāo)。除了寬高預(yù)測(cè)分支使用兩個(gè)3×3的卷積之外,其余分支均使用一個(gè)3×3卷積加上1×1卷積。

2.2 二維高斯分布表示法

常用基于關(guān)鍵點(diǎn)的檢測(cè)方法在定義正負(fù)樣本位置時(shí)沒(méi)有充分考慮目標(biāo)的形狀大小和方向,難以適應(yīng)SAR艦船目標(biāo)角度和長(zhǎng)寬比的多樣性。本部分提出結(jié)合長(zhǎng)寬和方向角信息的旋轉(zhuǎn)高斯分布函數(shù)來(lái)產(chǎn)生樣本的真值熱度圖,更好地刻畫(huà)艦船分布的長(zhǎng)寬比和方向角。

對(duì)于SAR艦船單類(lèi)目標(biāo)檢測(cè)器而言,輸入寬和高為W和H的特征圖,其輸出通道數(shù)為1,因此熱度圖尺度為W×H ×1。在原始圓形高斯熱度圖上進(jìn)行改進(jìn),用旋轉(zhuǎn)的橢圓高斯區(qū)域表示目標(biāo)的正樣本區(qū)域。定義中心點(diǎn)熱度圖的真值為,產(chǎn)生熱度圖的高斯核為

X=(x,y)表 示目標(biāo)在特征圖中所處位置,μ=(cx,cy)對(duì)應(yīng)于4倍下采樣的真值框坐標(biāo)。

別表示由目標(biāo)真值框角度確定的旋轉(zhuǎn)矩陣,以及由目標(biāo)旋轉(zhuǎn)框?qū)捀叽_定的對(duì)角矩陣。σx,σy表示由目標(biāo)長(zhǎng)寬確定的標(biāo)準(zhǔn)差值,k表示確定旋轉(zhuǎn)高斯核方向的指數(shù),其與目標(biāo)邊框尺寸的具體關(guān)系如式(3)。

2.3 結(jié)合前景注意力機(jī)制的檢測(cè)頭

由于SAR圖像中近岸區(qū)域場(chǎng)景復(fù)雜,大多靠岸艦船目標(biāo)與碼頭、島礁、岸上建筑物等背景有相似散射特征,難以被準(zhǔn)確區(qū)分。為使模型更加關(guān)注前景信息,本部分提出前景注意力引導(dǎo)模塊學(xué)習(xí)圖像的前景區(qū)域特征,在凸顯目標(biāo)區(qū)域的同時(shí)抑制雜波背景的影響,結(jié)構(gòu)如圖1中橙色框所示。前景注意力生成模塊由一個(gè)3×3普通卷積層、一個(gè)3×3空洞卷積核和兩個(gè)1×1的卷積層構(gòu)成。

旋轉(zhuǎn)框檢測(cè)框架中檢測(cè)頭包括中心點(diǎn)熱度圖、偏置值、旋轉(zhuǎn)框參數(shù)和前景注意力預(yù)測(cè)圖4個(gè)分支。由于中心點(diǎn)熱度圖和偏置值預(yù)測(cè)負(fù)責(zé)精確定位目標(biāo)中心點(diǎn),而旋轉(zhuǎn)框參數(shù)預(yù)測(cè)部分更關(guān)注目標(biāo)的形狀,這里僅在旋轉(zhuǎn)框參數(shù)預(yù)測(cè)時(shí)使用前景注意力增強(qiáng)后的特征。

受語(yǔ)義分割任務(wù)中像素級(jí)分類(lèi)方法的啟發(fā),可由目標(biāo)的實(shí)例級(jí)標(biāo)注信息獲取前景區(qū)域的標(biāo)注,即所有在邊框內(nèi)的像素值定義為1,超出邊框邊界的像素值為0。考慮到目標(biāo)周?chē)鷧^(qū)域包含的邊緣信息對(duì)精確定位和回歸有益,將目標(biāo)周?chē)欢ǚ秶鷥?nèi)的區(qū)域作為過(guò)渡區(qū)域。根據(jù)經(jīng)驗(yàn)值,本文選定超出真值框1/4大小的邊框?yàn)橹虚g區(qū)域,在制作前景分割圖標(biāo)簽時(shí),將中間區(qū)域的像素值設(shè)置為0.5。將目標(biāo)的分割圖作為監(jiān)督信息可訓(xùn)練該注意力模塊。經(jīng)過(guò)前景注意力增強(qiáng)的特征圖包含了目標(biāo)的長(zhǎng)寬信息,能為前景目標(biāo)的尺度預(yù)測(cè)提供有效指引。

給定骨干網(wǎng)絡(luò)最后階段的輸出特征圖F,定義得到的前景注意力特征圖為M(F)。該特征圖有兩方面作用:一是產(chǎn)生注意力掩模圖,在訓(xùn)練前景注意力分支時(shí)將上述前景區(qū)域的像素級(jí)標(biāo)注作為監(jiān)督信息;另一方面可用于增強(qiáng)骨干網(wǎng)絡(luò)的原始輸出特征圖。增強(qiáng)后作為目標(biāo)形狀預(yù)測(cè)分支的輸出特征圖可表示為

⊙表示逐元素相乘,exp表示指數(shù)操作,⊕表示特征拼接操作。指數(shù)操作一定程度避免了特征圖中有利于預(yù)測(cè)目標(biāo)尺度的信息丟失。

2.4 預(yù)測(cè)模塊

2.4.1 中心點(diǎn)和偏置值回歸

在訓(xùn)練熱度圖時(shí)選取高斯分布的峰值為正樣本,其余點(diǎn)為負(fù)樣本。由于高斯分布中心附近的點(diǎn)也有一定的預(yù)測(cè)概率,為高斯核內(nèi)的其他點(diǎn)賦予由距離中心遠(yuǎn)近所度量的權(quán)重。為解決正負(fù)樣本嚴(yán)重不平衡問(wèn)題,訓(xùn)練高斯熱度圖分支時(shí)采用改進(jìn)的焦點(diǎn)損失函數(shù),即

其中,pxy表示第xy個(gè)像素點(diǎn)的熱度圖預(yù)測(cè)值,gpxy為該像素點(diǎn)對(duì)應(yīng)的真值,N表示目標(biāo)總數(shù)量。默認(rèn)取值α=2,β=4。同訓(xùn)練中心點(diǎn)熱度圖一致,前景注意力分支也由上述損失函數(shù)訓(xùn)練得到。

在網(wǎng)絡(luò)推理階段,將提取到的預(yù)測(cè)熱度圖的峰值點(diǎn)作為目標(biāo)中心點(diǎn)。當(dāng)輸入SAR圖像中艦船目標(biāo)位置為 (x,y)時(shí),骨干網(wǎng)絡(luò)中輸出特征圖對(duì)應(yīng)位置為。由于特征提取網(wǎng)絡(luò)中的下采樣操作會(huì)帶來(lái)量化誤差,為彌補(bǔ)將熱度圖中的位置重映射到原圖時(shí)的精度損失,構(gòu)建預(yù)測(cè)特征圖為O ∈RW×H×2的偏置值分支。用平滑L1函數(shù)優(yōu)化偏置值可得損失值:

其中,oi和分別表示第i個(gè)目標(biāo)的偏置值預(yù)測(cè)值和對(duì)應(yīng)真值。

2.4.2 旋轉(zhuǎn)框回歸

由于SAR圖像中存在一定比例的近乎水平或者垂直分布的目標(biāo),本文考慮兩種回歸方式,將帶有旋轉(zhuǎn)角度的目標(biāo)邊框(OBB)定義為水平框(HBB)和旋轉(zhuǎn)框(RBB)。當(dāng)目標(biāo)真值框呈現(xiàn)水平分布時(shí),回歸寬和高即可得到邊框位置。當(dāng)目標(biāo)真值框帶有旋轉(zhuǎn)角度時(shí),可通過(guò)回歸最小外接矩形框的寬高和目標(biāo)中心點(diǎn)到四邊的距離得到旋轉(zhuǎn)框位置。引入旋轉(zhuǎn)因子來(lái)確定真值框回歸時(shí)按水平或者旋轉(zhuǎn)形式:

IoU表示旋轉(zhuǎn)框和最小外接矩形框的交并比。基于上述旋轉(zhuǎn)因子可構(gòu)建旋轉(zhuǎn)分支的輸出特征圖Θ ∈RW×H×1,將訓(xùn)練旋轉(zhuǎn)因子轉(zhuǎn)換為分類(lèi)任務(wù),用二值交叉熵?fù)p失來(lái)優(yōu)化旋轉(zhuǎn)分支:

對(duì)目標(biāo)進(jìn)行旋轉(zhuǎn)框表示時(shí),用中心點(diǎn)到四條邊構(gòu)成的4個(gè)向量來(lái)描述旋轉(zhuǎn)框。檢測(cè)頭部預(yù)測(cè)的邊框參數(shù)為(t,r,b,l,w,h),構(gòu)建由此組成的旋轉(zhuǎn)框回歸分支。同偏置值分支一致采用如下?lián)p失函數(shù):

其中,Bi和分別表示目標(biāo)邊框的真實(shí)值和預(yù)測(cè)的目標(biāo)邊框參數(shù)。當(dāng)值為1時(shí),回歸B中旋轉(zhuǎn)框表示法的10個(gè)參數(shù);當(dāng)值為0時(shí),僅回歸B中寬高兩個(gè)參數(shù)。

2.5 蒸餾結(jié)構(gòu)

雖然HRNet骨干網(wǎng)絡(luò)通過(guò)信息交換和多尺度特征融合能得到表征能力極強(qiáng)的高分辨率特征圖,但多階段之間大量重復(fù)的融合操作和密集的層間特征融合會(huì)產(chǎn)生較高的計(jì)算復(fù)雜度,使得網(wǎng)絡(luò)參數(shù)量龐大。本文對(duì)上述基于關(guān)鍵點(diǎn)的旋轉(zhuǎn)檢測(cè)框架進(jìn)行知識(shí)蒸餾可得到輕量化檢測(cè)器,具體蒸餾框架如圖3所示。骨干網(wǎng)絡(luò)HRNet32作為教師網(wǎng)絡(luò),HRNet16作為學(xué)生網(wǎng)絡(luò)進(jìn)行蒸餾(32表示高分辨率子網(wǎng)在最后3個(gè)階段的寬度分別為96,192,384;16表示并行子網(wǎng)的寬度為64,128,256)。前者檢測(cè)頭部的卷積層輸出通道數(shù)為32,后者為16。

圖3 蒸餾結(jié)構(gòu)示意圖Fig.3 Schematic diagram of distillation structure

2.5.1 蒸餾損失函數(shù)構(gòu)建

訓(xùn)練輕量級(jí)學(xué)生網(wǎng)絡(luò)時(shí),將目標(biāo)真值作為硬標(biāo)簽,教師網(wǎng)絡(luò)預(yù)測(cè)作為軟標(biāo)簽,整體損失函數(shù)如下:

其中,A表示檢測(cè)頭部預(yù)測(cè)的中心點(diǎn)位置、偏置值、旋轉(zhuǎn)框尺度、角度因子參數(shù)的集合,λ為蒸餾損失所占比例。在目標(biāo)真值作為硬標(biāo)簽時(shí),加入前景注意力引導(dǎo)模塊的損失函數(shù),在蒸餾時(shí)加入特征層次的損失函數(shù)。其中yA表 示目標(biāo)的真值標(biāo)注,At和As分別表示教師和學(xué)生網(wǎng)絡(luò)的角度預(yù)測(cè)輸出。Ldet將真值作為硬標(biāo)簽計(jì)算損失來(lái)訓(xùn)練學(xué)生網(wǎng)絡(luò)(同訓(xùn)練教師網(wǎng)絡(luò)的相應(yīng)分支),LKD將教師網(wǎng)絡(luò)的預(yù)測(cè)作為軟標(biāo)簽,可表示如下:

其中,λhm,αhm表示常規(guī)訓(xùn)練和蒸餾訓(xùn)練中熱度圖損失所占比例,λatt和αfea表示注意力分支損失和特征圖蒸餾損失所占比例。Ldet中各項(xiàng)損失同2.4節(jié)中各預(yù)測(cè)模塊的損失一致,LKD由特征圖蒸餾損失和檢測(cè)結(jié)構(gòu)預(yù)測(cè)頭部的各部分蒸餾損失共同構(gòu)成,下面將分別介紹改進(jìn)的特征圖和熱度圖蒸餾模塊。

2.5.2 特征圖蒸餾

由于HRNet最后階段提取的特征已融合了各層級(jí)的特征,本文僅對(duì)末階段特征圖進(jìn)行蒸餾。SAR圖像中存在前景和背景樣本嚴(yán)重不平衡現(xiàn)象,若對(duì)整個(gè)特征圖進(jìn)行蒸餾將引入大量噪聲,導(dǎo)致學(xué)生網(wǎng)絡(luò)難以學(xué)習(xí)到教師網(wǎng)絡(luò)中對(duì)檢測(cè)有益的特征。由于近岸SAR圖像中背景與目標(biāo)散射特性存在相似性,在特征蒸餾時(shí)需要既能考慮到與目標(biāo)區(qū)域相關(guān)的有效特征,同時(shí)結(jié)合港口、島礁、碼頭等背景特征來(lái)輔助艦船目標(biāo)特征的蒸餾。因此本文提出前景注意力掩模引導(dǎo)的上下文信息增強(qiáng)特征蒸餾策略。

定義Ft和Fs分別為教師和學(xué)生網(wǎng)絡(luò)的特征圖輸出,當(dāng)兩者通道數(shù)不匹配時(shí),加入通道自適應(yīng)函數(shù)φ對(duì)齊通道數(shù)。為使蒸餾過(guò)程更加關(guān)注前景區(qū)域的特征,將教師網(wǎng)絡(luò)檢測(cè)頭分支產(chǎn)生的前景注意力特征圖M(Ft)作為骨干網(wǎng)絡(luò)特征蒸餾的監(jiān)督信號(hào)。

文獻(xiàn)[25]中結(jié)合Non-Local模塊捕捉目標(biāo)的上下文信息,建模了圖像中兩個(gè)像素之間的關(guān)系。但由于其計(jì)算量大、難以即插即用,本文采用GCblock[26]構(gòu)建全局語(yǔ)義建模模塊,使得蒸餾過(guò)程中不僅能學(xué)習(xí)艦船目標(biāo)特征圖中單個(gè)像素的知識(shí),同時(shí)也能捕捉周?chē)匚锉尘芭c目標(biāo)像素的關(guān)聯(lián)信息。該模塊的內(nèi)部結(jié)構(gòu)可由式(12)表示,由此改進(jìn)的特征蒸餾損失可由式(13)表示:

其中,LN 表示層歸一化操作,Np表 示特征圖Fm中的像素個(gè)數(shù)。

2.5.3 熱度圖蒸餾

在對(duì)檢測(cè)頭進(jìn)行蒸餾時(shí),將從中心點(diǎn)熱度圖、偏置值和尺度、旋轉(zhuǎn)角因子3個(gè)方面設(shè)計(jì)蒸餾損失函數(shù)。中心點(diǎn)熱度圖的預(yù)測(cè)決定了目標(biāo)定位的精確度,因此如何縮小教師和學(xué)生網(wǎng)絡(luò)預(yù)測(cè)熱度圖的差異對(duì)學(xué)生網(wǎng)絡(luò)的檢測(cè)精度至關(guān)重要。由于熱度圖的預(yù)測(cè)實(shí)質(zhì)是像素點(diǎn)分類(lèi)問(wèn)題,本文將不同空間位置的像素點(diǎn)作為節(jié)點(diǎn),節(jié)點(diǎn)間的相似度作為邊來(lái)構(gòu)建鄰接圖結(jié)構(gòu)。對(duì)于每個(gè)節(jié)點(diǎn),只計(jì)算其與周?chē)鷐個(gè)節(jié)點(diǎn)的相似性。這種基于點(diǎn)對(duì)點(diǎn)相似度保持的蒸餾策略,能最大化保持教師和學(xué)生網(wǎng)絡(luò)預(yù)測(cè)熱度圖中像素對(duì)的一致性。將圖結(jié)構(gòu)中點(diǎn)對(duì)點(diǎn)相似度蒸餾損失表示為

其中,教師網(wǎng)絡(luò)中像素點(diǎn)i和j之間的相似度為,學(xué)生網(wǎng)絡(luò)中對(duì)應(yīng)的相似度為。對(duì)于W×H ×1大小的中心點(diǎn)熱度圖,用fi表示第i個(gè) 空間位置上特征圖的值,相似度可由式(15)計(jì)算:

由于旋轉(zhuǎn)角因子的確定可視為二分類(lèi)問(wèn)題,定義最小均方差蒸餾損失:

同理,對(duì)于偏置O和旋轉(zhuǎn)框除角度因子外的其余參數(shù)表示S,選取平滑的L1損失函數(shù)計(jì)算損失:

3 實(shí)驗(yàn)驗(yàn)證

本文實(shí)驗(yàn)平臺(tái)硬件配置為Intel?CoreTMi7-8700K CPU,32 GB內(nèi)存計(jì)算機(jī),使用NVIDIA RTX2080Ti GPU進(jìn)行加速運(yùn)算。軟件環(huán)境為L(zhǎng)inux平臺(tái),操作系統(tǒng)為Ubuntu16.04。文中實(shí)驗(yàn)基于Pytorch深度學(xué)習(xí)框架構(gòu)建網(wǎng)絡(luò)模型,并使用CUDA10.0和CUDNN7.6實(shí)現(xiàn)程序加速。

3.1 訓(xùn)練策略與評(píng)價(jià)指標(biāo)

本文方法在公開(kāi)SAR圖像艦船目標(biāo)檢測(cè)數(shù)據(jù)集HRSID[27]上進(jìn)行驗(yàn)證。在實(shí)驗(yàn)中,按照7:2:1的比例劃分訓(xùn)練、驗(yàn)證和測(cè)試集,使用Adam優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)迭代更新,權(quán)重衰減率為0.0005。將CenterNet檢測(cè)器作為基準(zhǔn)模型且用骨干網(wǎng)絡(luò)HRNet提取圖像特征。教師和學(xué)生網(wǎng)絡(luò)訓(xùn)練時(shí)各項(xiàng)損失值的比例分別設(shè)置為λhm=λatt=0.8,蒸餾時(shí)αfea=αhm=3且λ=0.5。設(shè)置初始學(xué)習(xí)率為1.25E-4,按照step的學(xué)習(xí)策略分別在70和90epoch時(shí)候?qū)W習(xí)率衰減為原始的0.1倍,共訓(xùn)練100個(gè)epoch。每訓(xùn)練10個(gè)epoch保存一次網(wǎng)絡(luò)模型,根據(jù)訓(xùn)練結(jié)果保存最優(yōu)模型。一批訓(xùn)練4張圖片,采用隨機(jī)裁剪、翻轉(zhuǎn)、亮度變換等操作擴(kuò)充數(shù)據(jù)集。

實(shí)驗(yàn)中,當(dāng)檢測(cè)邊框與真值邊界框的IoU超過(guò)0.5時(shí),即可認(rèn)為檢測(cè)正確。本文采用深度學(xué)習(xí)中的評(píng)價(jià)指標(biāo),即召回率Recall,精度Precision以及平均精度AP。定義TP (True Positive)為正確的艦船檢測(cè)數(shù)目,GT (Ground Truth)為真實(shí)的艦船數(shù)目,F(xiàn)P (False Positive)為錯(cuò)誤檢測(cè)的艦船數(shù)目,F(xiàn)N (False Negative)為漏檢的艦船數(shù)目。則召回率、準(zhǔn)確率和F1值可分別定義為

平均精度定義為

其中,p為 精度,r為召回率,p(r)表示精度和召回率的曲線。AP的值越大表示算法性能越好。

此外,用網(wǎng)絡(luò)參數(shù)量Params(M)和網(wǎng)絡(luò)前向計(jì)算量FLOPs(G)衡量模型的輕量程度。

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 消融實(shí)驗(yàn)

為說(shuō)明本文提出的尺度和方向自適應(yīng)的高斯核、前景注意力引導(dǎo)模塊的效果,將基于CenterNet的旋轉(zhuǎn)框檢測(cè)方法作為基線模型在HRSID數(shù)據(jù)集上進(jìn)行消融對(duì)比實(shí)驗(yàn)。該實(shí)驗(yàn)以骨干網(wǎng)絡(luò)HRNet32為基準(zhǔn),輸入網(wǎng)絡(luò)的圖像大小為608 pixel×608 pixel,每組實(shí)驗(yàn)設(shè)置的參數(shù)保持一致。表1展示了不同模塊下的各項(xiàng)評(píng)價(jià)指標(biāo)。

從表1可看出,加入改進(jìn)的高斯核熱度圖表示后,AP從0.7833提升至0.7927,F(xiàn)1分?jǐn)?shù)提升了3.8%左右。說(shuō)明提出的旋轉(zhuǎn)非歸一化高斯核能更好地刻畫(huà)艦船分布的方向角和長(zhǎng)寬比,目標(biāo)的關(guān)鍵點(diǎn)預(yù)測(cè)更加準(zhǔn)確。圖4展示了測(cè)試圖像中各個(gè)目標(biāo)的預(yù)測(cè)熱度圖和前景注意力預(yù)測(cè)特征圖。

表1 HRSID數(shù)據(jù)集上的消融實(shí)驗(yàn)Tab.1 Ablation experiments on HRSID dataset

從圖4可以看出,預(yù)測(cè)的高斯熱度圖能準(zhǔn)確地反映目標(biāo)的長(zhǎng)寬和方向角信息。前景注意力特征圖的激活位置能精確反映前景區(qū)域,而尺度預(yù)測(cè)分支能通過(guò)增強(qiáng)的前景特征表示更精確地預(yù)測(cè)目標(biāo)的長(zhǎng)寬比信息。在復(fù)雜近岸場(chǎng)景下檢測(cè)時(shí),通過(guò)加入前景注意力引導(dǎo)機(jī)制,網(wǎng)絡(luò)將更關(guān)注前景目標(biāo)區(qū)域,一定程度減少了目標(biāo)周?chē)鷯u岸背景的干擾,使得定位精度上AP提升了2%,F(xiàn)1從0.7759提升至0.8082。加入兩個(gè)模塊的結(jié)合后對(duì)檢測(cè)器召回率的提升沒(méi)有單獨(dú)加入前景注意力機(jī)制時(shí)提升明顯,可能是由于旋轉(zhuǎn)高斯核的引入一定程度降低了密集排列目標(biāo)的漏檢率,此時(shí)前景注意力機(jī)制主要作用于提升回歸精度方面。

圖4 熱度圖可視化Fig.4 Heatmap visualization

上述結(jié)果表明,引入前景注意力引導(dǎo)模塊優(yōu)化旋轉(zhuǎn)框尺度參數(shù)回歸,并根據(jù)目標(biāo)尺度和方向角改進(jìn)高斯核表示都能提升艦船目標(biāo)檢測(cè)的精度。

3.2.2 無(wú)蒸餾與不同蒸餾策略下的對(duì)比實(shí)驗(yàn)

為進(jìn)一步輕量化網(wǎng)絡(luò)結(jié)構(gòu),考慮對(duì)骨干網(wǎng)絡(luò)的卷積通道數(shù)進(jìn)行精簡(jiǎn)得到HRNet16。表2展示了不同骨干網(wǎng)絡(luò)下本文所提旋轉(zhuǎn)框檢測(cè)方法的精度和參數(shù)量對(duì)比。表中所示方法結(jié)合了本文改進(jìn)的高斯核并引入前景注意力引導(dǎo)模塊,僅改變骨干網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。

表2 教師和學(xué)生檢測(cè)網(wǎng)絡(luò)的性能比較Tab.2 Performance comparison of teacher and student detection network

盡管骨干網(wǎng)絡(luò)為HRNet16時(shí)參數(shù)量和浮點(diǎn)計(jì)算量均大大降低,檢測(cè)精度也有所損失。當(dāng)對(duì)檢測(cè)頭部分支的角度預(yù)測(cè)、偏置值和邊框參數(shù)3部分進(jìn)行知識(shí)蒸餾后,得到的學(xué)生網(wǎng)絡(luò)能在保證模型輕量化的條件下提升檢測(cè)精度,但遠(yuǎn)低于教師網(wǎng)絡(luò)的檢測(cè)精度。

為進(jìn)一步說(shuō)明本文所提蒸餾策略的有效性,主要從中心點(diǎn)熱度圖和骨干網(wǎng)絡(luò)特征蒸餾兩方面展開(kāi)對(duì)比實(shí)驗(yàn)。圖5展示了近岸和遠(yuǎn)海場(chǎng)景下不同蒸餾策略下的PR曲線。可以看出在遠(yuǎn)海場(chǎng)景下,目標(biāo)分布較為分散且沒(méi)有島嶼、礁石等干擾,檢測(cè)準(zhǔn)確率均在90%以上,各種蒸餾策略下的性能差異甚微。在近岸場(chǎng)景中,用普通熱度圖蒸餾(L2)或普通特征圖蒸餾(L2)時(shí)與學(xué)生網(wǎng)絡(luò)性能差異不大;當(dāng)使用基于點(diǎn)對(duì)點(diǎn)相似度保持的蒸餾方法時(shí),隨著召回率的提升,改進(jìn)方法的準(zhǔn)確率更高,對(duì)應(yīng)的PR曲線與坐標(biāo)軸包圍面積更大。當(dāng)進(jìn)一步加入改進(jìn)的特征圖蒸餾后,由于結(jié)合了前景掩模知識(shí)并建模了目標(biāo)與周?chē)舷挛男畔⒌恼Z(yǔ)義聯(lián)系,利用改進(jìn)的熱度圖和特征蒸餾策略得到的學(xué)生網(wǎng)絡(luò)在近岸條件下的檢測(cè)性能比教師網(wǎng)絡(luò)還稍有提升,進(jìn)一步說(shuō)明特征的知識(shí)遷移對(duì)近岸檢測(cè)的性能影響較大。

圖5 不同蒸餾策略下PR曲線比較Fig.5 Precision-Recall curves under different distillation strategies

圖6對(duì)網(wǎng)絡(luò)預(yù)測(cè)頭輸出的中心點(diǎn)熱度圖進(jìn)行可視化,響應(yīng)值強(qiáng)的地方對(duì)應(yīng)目標(biāo)的中心位置。從左至右分別是檢測(cè)結(jié)果、基于均方差損失蒸餾的中心點(diǎn)熱度圖、本文所提蒸餾方法和教師網(wǎng)絡(luò)預(yù)測(cè)的熱度圖。可以看出本文所提改進(jìn)蒸餾方法產(chǎn)生的熱度圖上最亮點(diǎn)突出了目標(biāo)的中心點(diǎn)位置,在目標(biāo)附近的島嶼、礁石或者海岸上幾乎未產(chǎn)生響應(yīng)或響應(yīng)值極弱。這是由于基于像素點(diǎn)對(duì)點(diǎn)相似度保持的蒸餾策略最大限度保留了教師網(wǎng)絡(luò)對(duì)中心點(diǎn)位置的估計(jì)知識(shí),且結(jié)合前景注意力掩模的特征蒸餾能在學(xué)習(xí)前景特征的同時(shí)減少背景雜波的干擾。

圖6 不同蒸餾策略下預(yù)測(cè)熱度圖比較Fig.6 Comparison of predicted heatmaps under different distillation strategies

為衡量不同蒸餾策略下學(xué)生網(wǎng)絡(luò)定位旋轉(zhuǎn)框的精度,改變交并比閾值進(jìn)行實(shí)驗(yàn),檢測(cè)精度隨交并比閾值的變化曲線如圖7所示。通常用AP75表示檢測(cè)器的定位回歸能力,可以看出基于點(diǎn)對(duì)點(diǎn)相似性度量的熱度圖蒸餾策略將AP75提升了2.54%。進(jìn)一步融合前景區(qū)域引導(dǎo)的特征蒸餾策略,AP75從31.26%提升至34.86%,比加入未改進(jìn)的特征蒸餾策略提升了1.44%。定位精度比教師網(wǎng)絡(luò)AP75高1.15%,同時(shí)AP0.5:0.75能達(dá)到61.58%,同教師網(wǎng)絡(luò)相當(dāng)(61.48%),說(shuō)明蒸餾后的學(xué)生網(wǎng)絡(luò)充分遷移了教師網(wǎng)絡(luò)訓(xùn)練旋轉(zhuǎn)框檢測(cè)器中特征層面和不同預(yù)測(cè)分支尤其是熱度圖分支的知識(shí)。

圖7 不同蒸餾策略下不同IoU閾值下的檢測(cè)定位精度變化圖Fig.7 Changes of detection performance under different IoU thresholds of different distillation strategies

表3展示了近岸和遠(yuǎn)海場(chǎng)景下結(jié)合不同蒸餾方法時(shí)的指標(biāo)比較。Baseline表示僅對(duì)偏置值、角度和框回歸參數(shù)蒸餾的學(xué)生網(wǎng)絡(luò),AT fea[28],Mimic fea[29]為檢測(cè)任務(wù)中經(jīng)典的蒸餾方法,將其引入特征層次進(jìn)行蒸餾。可以看出單獨(dú)使用Mimic特征蒸餾或者均方差熱度圖蒸餾時(shí),兩者相對(duì)于未蒸餾學(xué)生網(wǎng)絡(luò)性能提升程度相似(熱力圖的影響更大)。在改進(jìn)的熱度圖蒸餾方法上結(jié)合不同的特征蒸餾形式后,本文方法在近岸場(chǎng)景下F1和AP值比結(jié)合AT fea蒸餾形式分別提升0.245和3.24%,即虛警和漏檢相對(duì)較少。相對(duì)于Baseline蒸餾的學(xué)生網(wǎng)絡(luò),近岸場(chǎng)景下平均精度提升高達(dá)9.59%,遠(yuǎn)海場(chǎng)景下也有0.65%的提升。

表3 不同蒸餾方法在近岸和遠(yuǎn)海場(chǎng)景下的檢測(cè)性能比較Tab.3 Detection performance comparison of different distillation methods under inshore and offsihore scenes

3.2.3 主流旋轉(zhuǎn)框檢測(cè)算法對(duì)比實(shí)驗(yàn)

在對(duì)基于關(guān)鍵點(diǎn)的旋轉(zhuǎn)框檢測(cè)方法進(jìn)行改進(jìn)高斯核設(shè)計(jì),并引入前景注意力模塊后得到基準(zhǔn)教師檢測(cè)網(wǎng)絡(luò),然后對(duì)骨干網(wǎng)絡(luò)壓縮的學(xué)生檢測(cè)模型進(jìn)行蒸餾,得到了本文最終的輕量化模型。為進(jìn)一步驗(yàn)證所提算法的性能,將本文的輕量級(jí)檢測(cè)器與其余基于旋轉(zhuǎn)框的檢測(cè)方法對(duì)比,主要分為雙階段、單階段檢測(cè)方法和其余無(wú)錨框檢測(cè)方法。圖8展示了HRSID數(shù)據(jù)集上由不同檢測(cè)方法的準(zhǔn)確率和召回率繪制的PR曲線,統(tǒng)一每個(gè)檢測(cè)器的置信度閾值為0.1。

圖8 HRSID上不同旋轉(zhuǎn)框檢測(cè)方法的PR曲線比較Fig.8 Precision-Recall curves comparison of different oriented detection methods on HRSID

從圖8可以看出雙階段旋轉(zhuǎn)框檢測(cè)方法的平均精度整體優(yōu)于單階段和無(wú)錨框檢測(cè)方法。本文所提方法與BBAV[30]和DAL[31]相比在高召回率下準(zhǔn)確率更高,且蒸餾后的輕量化檢測(cè)網(wǎng)絡(luò)性能與教師網(wǎng)絡(luò)性能接近。

表4展示了不同旋轉(zhuǎn)框檢測(cè)方法下的精度、模型參數(shù)量、檢測(cè)速度等指標(biāo)。測(cè)試時(shí)間為每張608×608大小切片輸入網(wǎng)絡(luò)后經(jīng)過(guò)圖像預(yù)處理、網(wǎng)絡(luò)檢測(cè)以及圖像后處理的總時(shí)間,表中由此計(jì)算出幀率。可以看出蒸餾后的學(xué)生網(wǎng)絡(luò)相比于其他基于關(guān)鍵點(diǎn)的檢測(cè)方法BBAV,CenterNet-R等幀率高出近1.5倍。在保證檢測(cè)精度的同時(shí)能達(dá)到較高的召回率,同時(shí)虛警較少,F(xiàn)1值達(dá)到0.809且AP值有0.8071。光學(xué)遙感圖像上性能較好的雙階段檢測(cè)器如RoI Transformer[32]以及Oriented-RCNN[33]等在SAR圖像上效果一般,精度在76%左右,這是由于SAR圖像中艦船目標(biāo)所處場(chǎng)景更為復(fù)雜,和目標(biāo)具有相似成像特性的島礁、甲板等以及陸地強(qiáng)散射體的干擾會(huì)造成大量的虛警和漏檢。而本文方法采取基于關(guān)鍵點(diǎn)的旋轉(zhuǎn)框檢測(cè)方法,考慮了目標(biāo)的形狀和方向角,同時(shí)結(jié)合了前景區(qū)域信息預(yù)測(cè)尺度,提高了召回率。同時(shí)進(jìn)一步結(jié)合知識(shí)蒸餾策略壓縮網(wǎng)絡(luò)體積,能實(shí)現(xiàn)高精度條件下的輕量化檢測(cè)。

表4 典型旋轉(zhuǎn)檢測(cè)器上的性能比較Tab.4 Performance comparison on typical oriented detectors

3.2.4 檢測(cè)結(jié)果可視化

為了驗(yàn)證本文算法的改進(jìn)效果,在HRSID數(shù)據(jù)集上選取了3幅近岸場(chǎng)景下的測(cè)試圖像,這些圖像中包含海岸、島礁和港口等復(fù)雜場(chǎng)景,目標(biāo)排列緊密,分布形式多樣化且與陸地背景區(qū)分度較差。圖9從左至右分別是基于RetinaNet的旋轉(zhuǎn)框檢測(cè)算法、BBAV、單階段旋轉(zhuǎn)框改進(jìn)算法DAL和本文所提方法的檢測(cè)結(jié)果。其中綠色框表示算法正確檢測(cè)出的結(jié)果,紅色框?yàn)樘摼繕?biāo),黃色框表示漏檢目標(biāo)。從圖9可以看出RetinaNet-R方法下的檢測(cè)結(jié)果虛警、漏檢較多。在艦船靠岸分布時(shí),BBAV方法產(chǎn)生的漏檢有所減少,但在陸地上仍存在不少虛警。DAL方法對(duì)第2行中長(zhǎng)寬比大的高分辨率艦船均能正確檢測(cè),僅有一個(gè)虛警和漏檢,但在陸地上仍存在部分散射強(qiáng)度高的建筑物構(gòu)成的虛警。而本文所提方法對(duì)于密集靠岸分布的目標(biāo)、停靠碼頭的大長(zhǎng)寬比目標(biāo)以及島礁、陸地強(qiáng)散射體干擾場(chǎng)景下的目標(biāo)基本能正確檢測(cè),虛警和漏檢個(gè)數(shù)最少。

圖9 不同旋轉(zhuǎn)框檢測(cè)方法下不同場(chǎng)景下的檢測(cè)結(jié)果比較Fig.9 Detection results of different oriented detection methods under different scenes

3.2.5 大場(chǎng)景SAR圖像下的遷移實(shí)驗(yàn)

為驗(yàn)證本文方法在復(fù)雜場(chǎng)景下SAR圖像近岸艦船目標(biāo)檢測(cè)的性能,使用HRSID數(shù)據(jù)集上訓(xùn)練得到的模型對(duì)高分三號(hào)衛(wèi)星SAR艦船目標(biāo)數(shù)據(jù)集AIR-SARShip-1.0[34]進(jìn)行泛化性測(cè)試。測(cè)試圖像包含兩幅近岸和遠(yuǎn)海場(chǎng)景下不同尺度的艦船目標(biāo),由于島礁、碼頭和海岸的存在背景相對(duì)復(fù)雜,部分目標(biāo)還存在散焦和十字旁瓣等強(qiáng)散射干擾。圖10是兩種算法遷移到該數(shù)據(jù)集上的檢測(cè)結(jié)果。其中綠色框?yàn)樗惴z測(cè)結(jié)果,紅色框中是錯(cuò)誤檢測(cè)的目標(biāo),黃色框表示漏檢目標(biāo)。由此證明所提出檢測(cè)器具有較強(qiáng)的遷移能力,在不同傳感器下的SAR圖像上具有一定的泛化能力。對(duì)于1000 pixel×1000 pixel大小的大圖輸入,測(cè)試時(shí)間為1.84 s和1.96 s左右。在圖10(a)和圖10(b)上能達(dá)到0.650和0.632的F1值。可以看出遠(yuǎn)海目標(biāo)均能正確檢出,靠近碼頭的近岸目標(biāo)基本都能檢測(cè)到,但港口附近存在少許虛警和漏檢。相較于其余檢測(cè)方法,本文方法在保證檢測(cè)精度的同時(shí)具有更高的實(shí)時(shí)性和部署靈活性。

圖10 大場(chǎng)景圖像遷移檢測(cè)結(jié)果圖Fig.10 Migration detection results on large scene images

4 結(jié)語(yǔ)

針對(duì)近岸目標(biāo)易受復(fù)雜背景干擾和檢測(cè)網(wǎng)絡(luò)參數(shù)繁多難以部署的問(wèn)題,本文提出一種基于CenterNet和知識(shí)蒸餾的SAR圖像艦船目標(biāo)旋轉(zhuǎn)檢測(cè)模型,能夠較好地滿足實(shí)時(shí)性解譯對(duì)模型輕量化和檢測(cè)高精度的需求。文中首先改進(jìn)了基于關(guān)鍵點(diǎn)檢測(cè)框架中的高斯核,結(jié)合目標(biāo)的形狀和角度信息生成旋轉(zhuǎn)的橢圓高斯熱度圖區(qū)域。其次,為抑制復(fù)雜背景雜波對(duì)感興趣目標(biāo)的影響,使得模型更加關(guān)注前景信息,設(shè)計(jì)了前景區(qū)域注意力增強(qiáng)分支以監(jiān)督目標(biāo)尺度的回歸。為進(jìn)一步壓縮模型容量且減少推理時(shí)間,引入了知識(shí)蒸餾策略,并將其應(yīng)用于骨干網(wǎng)絡(luò)特征、輸出熱度圖以及檢測(cè)頭部的各回歸參數(shù)中,完成教師模型知識(shí)的學(xué)習(xí)。通過(guò)結(jié)合近岸艦船周?chē)尘皬?fù)雜的特點(diǎn),對(duì)目標(biāo)熱度圖計(jì)算相似度改進(jìn)蒸餾策略,同時(shí)結(jié)合前景區(qū)域掩模對(duì)上下文信息建模的特征圖加以蒸餾。基于公開(kāi)艦船數(shù)據(jù)集HRSID展開(kāi)實(shí)驗(yàn),最終能訓(xùn)練得到與教師模型性能相當(dāng)(精度為80.71%)的輕量化學(xué)生檢測(cè)模型(僅有9.07 M)。下一步工作中,將更加關(guān)注靠岸艦船目標(biāo)檢測(cè),結(jié)合不同傳感器下的SAR圖像做網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化,使得檢測(cè)器的魯棒性和適應(yīng)性更強(qiáng)。

猜你喜歡
前景特征檢測(cè)
“不等式”檢測(cè)題
“一元一次不等式”檢測(cè)題
“一元一次不等式組”檢測(cè)題
我國(guó)旅游房地產(chǎn)開(kāi)發(fā)前景的探討
法德軸心的重啟及前景
如何表達(dá)“特征”
離岸央票:需求與前景
不忠誠(chéng)的四個(gè)特征
抓住特征巧觀察
量子糾纏的來(lái)歷及應(yīng)用前景
太空探索(2016年10期)2016-07-10 12:07:01
主站蜘蛛池模板: 99在线免费播放| 日韩国产亚洲一区二区在线观看| 国产视频欧美| 欧美区国产区| 中文字幕在线观| 国产黑丝视频在线观看| 四虎亚洲国产成人久久精品| 在线观看视频一区二区| 国产精品永久不卡免费视频| 91精品啪在线观看国产91| 国产精品久久久久久影院| 中文字幕在线免费看| 日韩区欧美区| 毛片网站免费在线观看| 国产精品手机视频| 无码 在线 在线| 国产成人精品优优av| 欧美成人精品高清在线下载| 成人国产精品网站在线看 | 亚洲精品片911| 欧美亚洲国产一区| 天天摸夜夜操| 91麻豆精品国产91久久久久| 爆乳熟妇一区二区三区| 国产福利在线观看精品| 亚洲天堂久久| 老司机午夜精品网站在线观看 | 青青青视频蜜桃一区二区| 国产国拍精品视频免费看| 亚洲国产系列| 成年人午夜免费视频| 国产亚洲精品自在线| 午夜不卡福利| 国产区人妖精品人妖精品视频| 亚洲欧美h| 久久永久视频| 日本一区二区三区精品国产| 好吊色国产欧美日韩免费观看| 精品国产成人三级在线观看| 亚洲精品国产日韩无码AV永久免费网| 久久久久青草大香线综合精品| 直接黄91麻豆网站| 国产免费黄| 国产va免费精品| aaa国产一级毛片| 日本免费a视频| 国产一级裸网站| 欧美不卡二区| 久久久久久久久18禁秘| 中文字幕佐山爱一区二区免费| 国产69精品久久久久妇女| 国产高清在线精品一区二区三区 | 亚洲精品日产精品乱码不卡| 日韩欧美中文字幕一本| 国产精品久久久久久久久久久久| 无码又爽又刺激的高潮视频| 亚洲自拍另类| 亚洲成肉网| 在线观看无码av免费不卡网站| 美女视频黄又黄又免费高清| 久久精品最新免费国产成人| 啦啦啦网站在线观看a毛片| 国产乱子伦精品视频| 国产熟睡乱子伦视频网站| 欧美午夜在线播放| 99免费视频观看| 尤物精品视频一区二区三区| 午夜精品影院| 国产一级二级在线观看| 中文字幕av无码不卡免费| 欧美精品在线看| 蝌蚪国产精品视频第一页| 日本欧美一二三区色视频| 亚洲国产中文精品va在线播放| 久久久久久尹人网香蕉 | 狠狠五月天中文字幕| 在线高清亚洲精品二区| 97人妻精品专区久久久久| 亚洲娇小与黑人巨大交| 成人午夜在线播放| 麻豆精品在线| 亚洲第一页在线观看|