郭 倩 王海鵬 徐 豐
(復旦大學電磁波信息科學教育部重點實驗室 上海 200433)
合成孔徑雷達(Synthetic Aperture Radar,SAR)是一種主動式微波成像傳感器,它可以穿透云、雨、雪和煙霧,具有全天時、全天候的成像觀測能力。SAR自20世紀50年代誕生、發展至今,由于獨特的成像機制,其在軍事和民用領域都得到了廣泛的應用[1–3]。在軍事領域,SAR可用于全天候全球戰略偵察,全天候典型目標探測與識別及隱形目標散射特性的靜態與動態測量等;在民用領域,SAR在礦藏資源探測,災情探測與防治、地形探測與繪制及海洋,農業,林業等方面也發揮著巨大的作用[4]。由于SAR的獨特性能,SAR圖像中典型目標解譯技術受到了各國的重視,不斷發展進步。飛機作為一類重要的目標,在民用領域,飛機檢測有助于機場的有效管理;在軍事領域,獲取飛機的數量等信息具有重要價值[5–7]。因此,在高分辨率SAR圖像中對其進行精確檢測識別具有重要意義。
傳統的SAR圖像目標檢測方法主要基于特征和分類器。一般來講,目標自動識別包含由檢測、鑒別和識別3個階段[2],首先通過檢測算法將包含目標和虛警的可疑目標檢測出來,最常見的傳統目標檢測算法為基于雜波統計與閾值提取的恒虛警率算法(Constant False Alarm Rate,CFAR)[8],在此基礎上,學者從統計特征,非均勻背景等方面進行了深入研究,提出多種改進的CFAR算法,如CA-CFAR(Cell-Averaging Constant False Alarm Rate)[9],SOCA-CFAR(the Smallest Of Cell-Averaging Constant False Alarm Rate)[10],GOCA-CFAR(the Greatest Of Cell-Averaging Constant False Alarm Rate)[11],OS-CFAR (Ordered Statistic Constant False Alarm Rate)[12]及VI-CFAR(Variability Index Constant False Alarm Rate)[13]等。在鑒別階段可進一步通過其它特征如尺寸、形狀、語義等信息來區分目標和虛警。在SAR圖像中常用的特征包括目標的輪廓、尺寸、紋理、散射中心等[14–23]。在最后的識別階段常用的方法包括:模板匹配、基于模型的方法和機器學習[24–29]。模板匹配通過計算目標與模板間相似度實現對目標的識別,結果依賴于模板的尺寸,方向與圖像元素等特征。隨模板數據庫的不斷完善,目標識別精度也會相對提高?;谀P偷淖R別方法則需要通過多次迭代獲取高精度模擬圖像,對電磁計算的速度以及三維模型的精確度有較高要求。針對模板匹配與基于模型的識別方法中運算量大、效率低的問題,許多研究者開始研究機器學習算法,如支持向量機、神經網絡、自適應增強等,來進行SAR目標自動解譯。
近年來,隨著深度學習理論和方法的不斷發展和推廣應用,其在多個領域都取得了較好的效果。目標檢測作為圖像解譯中重要一環,是機器學習的核心問題之一。深度特征具有很強的描述能力[30],在檢測和分類方面都表現出良好的效果,自此以后在目標檢測領域涌現出了很多基于深度學習的方法,也取得了很大的研究進展[31]?,F有深度學習目標檢測算法主要分為兩階段檢測與單階段檢測兩大類,其具體發展過程如圖1所示。

圖1 深度學習目標檢測算法發展Fig.1 Development of deep learning-based target detection algorithms
兩階段算法首先生成候選框作為樣本,對候選區域應用圖像分類算法;而單階段檢測算法直接對預測的目標物體進行回歸。在兩階段檢測算法中:Girshick等人[32]提出了R-CNN(Region-Convolution Neural Network),它采用生成候選區域、用CNN提取特征、圖像分類、非極大值抑制4個步驟進行目標檢測,但是R-CNN的候選框存在重復計算、各步驟串行操作等問題,導致運行效率很低。He等人[33]針對這一問題,引入了空間金字塔池化層,提出了SPP-net(Spatial Pyramid Pooling-net),大幅縮短了訓練時間。Girshick[34]在此基礎上提出了Fast R-CNN,將不同大小候選框的卷積特征圖采樣成固定大小,只使用一個尺度進行網格劃分和池化,進一步提高計算速度。盡管Fast R-CNN成功地集成了R-CNN與SPP-net的優點,但其仍存在計算量大的問題。Ren等人[35]在Fast R-CNN基礎上提出Faster R-CNN,在主干網絡中增加了RPN(Region Proposal Network)網絡,通過一定規則設置不同尺度的錨點在RPN的卷積特征層提取候選框,實現了網絡的端到端訓練。為了增強網絡的平移敏感性,提升目標定位精度,Dai等人[36]將感興趣區域的計算共享,提出了R-FCN(Region-based Fully Convolutional Networks)結構,并進一步提出了特征金字塔網絡(Feature Pyramid Network,FPN),利用多尺度特征與自頂向下結構做目標檢測,有效提升了網絡對于小目標的檢測性能[37]。2017年He等人[38]又提出了Mask R-CNN,通過雙線性差值填補非整數位置的像素,使得下游特征圖向上游映射時沒有位置誤差,不僅提升了目標檢測效果,還使得算法能滿足語義分割任務的精度要求。區別于R-CNN系列為代表的兩階段檢測算法,Redmon等人[39,40]提出了一種快速有效的單階段目標檢測算法,被稱為YOLO(You Only Look Once),該算法將檢測問題簡化為分類回歸。在此基礎上,Liu等人[41]結合了Faster R-CNN的錨點機制與YOLO的回歸思想,提出了SSD(Single Shot multibox Detector)目標檢測算法。SSD采用網格劃分的思想,對不同卷積層的特征圖像進行滑窗掃描,達到了和兩階段方法相當的精度,同時又保持了較快的運行速度。在此基礎上,引入特征融合與多尺度信息,研究者相繼提出了DSSD(Deconvolutional Single Shot Detector)[42]與FSSD(Feature fusion Single Shot Detector)[43]等算法。
隨著合成孔徑雷達成像及深度學習等技術的發展,人們獲取到了更多高分辨率的SAR圖像,從而使利用深度學習進行SAR圖像處理成為可能。最近幾年,國內外學者也在此領域做了大量工作[44–57]。縱觀SAR中典型目標解譯技術發展,從早期的基于雜波建模與閾值提取,模板匹配及基于模型的特征提取技術到現階段的基于深度學習特征提取技術,本質上講均為通過對典型目標的特征進行理解,從而實現對目標的高精度解譯。而實際上SAR圖像中既蘊含了目標的散射特征,也包含了場景與目標的結構,分布等空間線索,這些有效信息在目前的兩大主流解譯技術中尚未得到充分地挖掘與有機結合。本團隊提出了一種新的SAR圖像中飛機目標檢測技術,通過對目標散射信息的建模和圖像視覺語義的深度挖掘,有效增強待解譯目標的散射特征信息,提升算法的精度與魯棒性。本文首先對SAR目標自動識別中關鍵技術進行了論述與總結,再以飛機目標為例,深入分析了飛機結構特征、SAR圖像中飛機目標散射機理及飛機目標檢測及識別目前面臨的挑戰,介紹了當前基于傳統方法提取與基于深度學習的兩大主流方向的基本原理和研究進展。在此基礎上,提出了基于散射特征信息增強與特征金字塔網絡的飛機目標檢測方法,并給出了初步的技術途徑,最后對未來的發展進行了展望。
SAR圖像中飛機目標檢測識別算法的研究是一項熱點,但由于高分辨率SAR圖像飛機目標影像較少,飛機檢測識別系統相關研究少有公開。本文將SAR圖像中飛機目標檢測識別系統的通用流程(如圖2所示)大致分為5個步驟:圖像預處理、機場檢測、飛機目標檢測、虛警剔除及飛機目標識別。

圖2 飛機目標檢測識別系統流程Fig.2 Flow of aircraft detection and recognition system
步驟1 圖像預處理:預處理包括對圖像灰度進行拉伸、直方圖調整、斑點噪聲濾除、目標對比度增強等。通過對圖像進行預處理,增強目標、抑制背景、消除斑噪對檢測過程的影響,提高機場目標、飛機目標的檢測正確率;
步驟2 機場檢測:由于飛機目標只分布在機場區域,對其余區域不做任何處理,因此要先進行機場檢測,剔除圖像中非機場區域。這樣做既可以減小待處理圖像的大小,又可以去除背景區域可能產生的虛警目標,從而提升檢測速度與檢測精度;
步驟3 飛機目標檢測:這一步主要是利用各種檢測算法將可能的飛機目標從機場區域進行提取,是整個流程的核心步驟。一般情況下,只針對飛機目標本身進行檢測,當飛機部件信息清晰時,也可結合子部件檢測,進一步提高檢測的準確性;
步驟4 虛警剔除:結合飛機的幾何特征和散射特征等先驗知識對疑似目標進行鑒別,去除其中的虛警目標;
步驟5 飛機目標識別:在高分辨率SAR圖像中,基于檢測及虛警剔除結果,利用目標識別算法確定飛機型號,這一步也是流程中的核心步驟。通過對飛機目標典型特征的提取,可有效提高目標識別算法的魯棒性。
SAR是一種主動式微波傳感器,它的成像方式形成了圖像特有的特征,目標散射特征信息是SAR圖像理解與應用的基礎信息[58],如圖3所示,這些特征包括目標幾何特征、灰度統計特征、紋理特征、極化特征[59]與噪聲特征等。
自從發明飛機以來,飛機的結構形式雖然在不斷改進,飛機類型不斷增多,但到目前為止,除了極少數特殊形式的飛機之外,大多數固定翼飛機基本構造大體相同,主要可以分為機頭、機身、機翼、尾翼和動力裝置5大部分(本文不考慮旋翼飛機)。由于合成孔徑雷達對金屬材料具有良好的探測性能,飛機在SAR圖像中含有豐富的散射信息。如圖4所示,本文以高分3號衛星聚束式衛星數據中飛機目標(圖像分辨率為1 m×1 m)為例,討論了各部件的主要散射機理(如表1所示)。
在高分辨率SAR圖像中,由于飛機目標子部件遠大于分辨率單元,因此SAR圖像中飛機目標的散射信息主要由目標部件散射信息組成?;陲w機目標各部件的散射機制,單極化SAR圖像中用于飛機目標檢測識別散射信息主要包括目標幾何特征、灰度統計特征與紋理特征3大類:
(1) 目標幾何特征:SAR圖像中飛機目標的幾何形狀是它們特有的標志,可用幾何特征對其進行檢測識別。比如,SAR圖像中飛機目標表現為離散的強散射點的形式,具有明顯的點目標特征,通過對點目標的檢測與判別,可對飛機目標進行粗略的分類,識別和定位;此外,由于SAR圖像中飛機目標(子部件)與背景具有較大的后向散射系數差別,而在灰度突變處會形成圖像的邊界點,因此SAR圖像中飛機目標容易形成邊界線性目標,具有較強的邊緣信息。

圖3 SAR圖像散射特征Fig.3 Scattering features of SAR imagery

圖4 飛機主要部件及散射機制Fig.4 Scattering mechanism of aircraft each component

表1 飛機各部件散射機理Tab.1 Scattering mechanism of each component
(2) 灰度統計特征:SAR圖像中灰度的變化取決于目標物的后向散射截面,在成像條件相同的情況下,目標物的后向散射截面取決于目標的結構與材質等信息。因為SAR圖像中飛機目標與其周圍背景具有明顯的結構與材質上的差異,因此其灰度振幅與統計特征都具有較大差異,可以通過對背景雜波的建模以及目標灰度分布的統計建模實現對SAR圖像中飛機目標的提取。
(3) 紋理特征:紋理是指圖像某一個區域的粗糙度或一致性[58],其取決于灰度的相對變化,而不是灰度的絕對值。一個圖像的紋理隨著雷達系統的波長、分辨率和入射角而變化,也會隨著目標的組成成分和它的背景特征的排列狀態而變化。不同類型的飛機目標之間的差異,往往不在于灰度大小,而在于它們的紋理差別。因此如何定義和計算目標局部紋理特征,對于虛警目標的鑒別以及不同型號飛機目標的分類是十分重要的。
與光學圖像不同,SAR成像波長更長,成像機制更復雜,成像結果也更難直觀解讀。最突出的是,目標在SAR圖像中是不連續的,也即是由多個離散的不規則散射中心亮斑組成,而這些散射中心之間卻隱含了目標識別的關鍵語義信息,因此如何將這些離散的亮斑組合成一個整體對目標檢測識別十分關鍵。如圖5所示為高分3號衛星聚束式SAR圖像中飛機目標示例(圖像分辨率為1 m×1 m,飛機翼展范圍為30~40 m,機長范圍為30~45 m)。
當對SAR圖像中飛機目標進行檢測識別時,因陸地雜波分布無規律,大量背景高亮散射點的存在對目標檢測造成很大干擾,故僅基于雜波建模與亮度信息提取目標的CFAR算法并不適用。除此之外,由于SAR圖像復雜的成像機制與散射條件的多變性,飛機目標成像呈特征多樣性,手動設計的特征難以適應于多種情況。本文總結飛機檢測識別所面臨的挑戰主要體現在以下3個方面:(1) 離散性,由于飛機表面大部分平滑,飛機在高分辨率SAR圖像中呈現為散射點的形態,目標飛機很容易被分成許多小塊,在這種情況下,檢測完整的目標是困難的,該問題被稱為離散性;(2) 多變性,由于飛機結構復雜,其不同部分具有不同的散射機理,包括腔體散射、邊緣繞射等,在SAR成像過程中,隨著入射角和方位角等散射條件的變化,目標的散射也發生著不同程度的變化,導致散射結果多變,難以確定目標型號,該問題被稱為多變性。(3) 復雜背景影響,除飛機目標自身結構所導致的復雜與多變性影響之外,在高分辨率SAR圖像中,復雜背景也會對SAR圖像中飛機目標精確檢測識別造成干擾,大量背景高亮散射點分布在飛機目標周圍,難以準確建模,與飛機目標部件等會發生一定程度的混淆,使得飛機難以準確定位與識別,該問題被稱為復雜背景影響。

圖5 SAR圖像中飛機目標示例Fig.5 Examples of aircraft in SAR imagery
由于SAR圖像中飛機目標成像具有離散性與多變性的特點,且容易受背景強散射點,如滑行道、儲油庫等的影響,因此設計魯棒的特征提取方法,對飛機目標精確檢測識別具有關鍵作用。El-Darymli等人[60]將傳統的SAR圖像中目標特征提取算法大致分為3類:基于單特征的、基于多特征組合的和面向專家系統的(如圖6所示)?;趩翁卣鞯乃惴ú捎脝我惶卣髟赟AR圖像中進行檢測識別,常用特征信息為圖像灰度信息,該方法是其他兩類方法的基礎?;诙嗵卣鞯姆椒◤妮斎氲腟AR圖像中提取兩個或多個特征的融合來做出決策,除了亮度信息,還可以推斷和融合其他特征。最后,面向系統的方法擴展了上述兩個分類,利用關于成像的場景、雜波和目標的先驗知識來在SAR圖像中進行解譯。隨著算法復雜性的增加,出現了復雜度與性能的權衡,在選擇某種方法時應謹慎,以便平衡此權衡。
如圖7所示,本文將傳統方法中的飛機目標檢測識別方法主要分為基于目標結構特征與基于目標散射特征兩大類?,F有工作中大多數基于多特征方法與面向系統類方法,研究者通常采用多種特征信息與先驗信息進行融合后作出決策。在此基礎上,光學圖像中部分飛機目標檢測或識別算法也具有一定借鑒意義,本文在此一并概括。需要注意的是,由于成像波長與成像機理上的本質區別,在傳統解譯方法中,光學和SAR在圖像處理上有著顯著區別。因此,對于飛機目標結構特征,如目標輪廓,部件形狀及結構分布等特征,二者方法可以互通;而對于飛機目標散射特征,如目標幾何特征、灰度統計特征及目標紋理特征等,二者則有著巨大差別,難以直接遷移。

圖6 傳統SAR圖像中目標特征提取算法分類Fig.6 Classification of traditional methods
目標的結構是重要的特征。目標準確的輪廓、部件形狀或結構分布等特征可以為算法提供重要的先驗信息,突出目標結構或形狀等信息可以提高遙感影像中目標解譯的準確性。在飛機目標檢測識別中,常用的結構特征包括:由機身和翼展構成的“Y”型或“T”型骨架,飛機目標部件結構分布,飛機結構的對稱性等,除此以外,飛機目標的尺寸,發動機數量等信息也可用于飛機目標的提取與鑒別。特別地,在高分辨率圖像中,飛機目標的骨架與輪廓信息都得到了很好的保留,這些顯著的結構特征對于飛機目標解譯具有重大意義。
高君等人[61]提出了一種基于飛機目標結構特征的SAR圖像中飛機目標檢測識別方法,首先利用霍夫變換對飛機目標的骨架進行提取,結合飛機結構的共線性、對稱性等特征對子部件進行提取,最后利用飛機關鍵尺寸等參數輔助實現飛機目標的分類。針對復雜背景下雜波的干擾問題,林煜東[62]提出了飛機幾何部件模型及基于幾何部件模型的分級檢測算法,首先根據目標特有幾何結構建立幾何原子庫,根據權重大小構建有序鏈式結構,在此基礎上設計了分級檢測算法。

圖7 傳統飛機目標檢測識別方法Fig.7 Traditional aircraft detection and recognition methods
(1) 基于目標幾何特征
與自然或光學圖像中的目標不同,由于合成孔徑雷達特殊的成像機制,目標主要包含多次反射,邊緣繞射等幾何特征以及散射中心特征,導致 SAR圖像中的目標通常由一系列強散射點組成。因此,利用諸如目標散射點或邊緣密度等形狀特征用于SAR圖像飛機目標特征提取是一條重要的技術路線。
Chen等人[63]對高分辨率TerraSAR-X圖像中民用飛機散射特征進行了分析,在此基礎上,利用Harris-Laplace角點檢測器提取強散射點并提出利用凸點矢量對其進行描述,實現對飛機目標散射特征地提取與描述??紤]到飛機目標邊緣是其重要的形狀信息,郭倩等人[64]采用基于Canny算子的邊緣檢測算法對飛機目標候選切片進行提??;Hu等人[65]提出了一種基于像素局部窗口邊緣分布的密度與均勻性的分割方法,對于飛機等人造目標的檢測具有較高的有效性和準確性。
(2) 基于灰度統計特征
基于統計信息的方法一般先對已知真值的實測數據提取特征,再把這些特征作為樣本建立數據庫或迭代模型,在此基礎上實現對未知目標的鑒別?;诮y計信息的方法本質上仍是設計合適的特征,利用特征的魯棒性和區分性提升目標識別的精度。
考慮到對于真實SAR圖像,難以選取合適的雜波統計分布模型的問題,Li等人[66]提出了一種基于雙域稀疏重構顯著性的SAR圖像中目標檢測算法,實驗結果表明該算法具有更好的魯棒性。Dou等人[67]使用高斯混合模型(Gaussian Mixture Models,GMM)對飛機目標候選切片和模板切片進行建模,將其視為結構特征,在識別階段,提出了一種新的基于K-L(Kullback-Leibler)散度的GMM模型相似度度量算法進行分類。Fu等人[68]提出一種基于散射結構特征的模板匹配飛機識別方法用于提高SAR圖像的識別精度和識別效率:首先通過高斯混合模型對飛機目標散射結構特征進行建模,在識別階段,通過提出的樣本決策優化算法實現模板匹配。He等人[69]提出了一種基于混合統計分布的多分量模型,同時考慮目標結構信息與統計分布,利用混合統計分布對目標與背景進行區分,實現SAR圖像中飛機目標的檢測。
(3) 基于目標紋理特征
SAR圖像中飛機目標分類常用的紋理特征包括方向梯度分布以及視覺顯著性等特征。視覺顯著性是一種顯著的感知特性,其是指對于真實世界中的場景,人會自動識別出感興趣的區域,并對感興趣的區域進行處理而忽略不感興趣的區域。“自底向上”作為視覺注意機制的策略之一,是指由圖像本質特征引起的視覺注意,是由顏色、亮度、方向等一系列底層感知數據驅動的。由圖像底層數據可知,圖像不同區域內具有很強的特征差異性,通過判斷目標區域與其周圍像素的差異計算圖像區域的顯著性。基于顯著性的目標檢測識別算法首先通過亮度等信息提取圖像的顯著圖,然后再通過顯著圖邊緣信息、梯度方向等信息對目標進行分割與鑒別。
Chen等人[63]提出了含兩個松弛變量的模板匹配方法,對飛機目標的顯著特征向量進行匹配,具有一定范圍內平移和旋轉不變性,提升了算法的魯棒性,該算法對于TerraSAR-X圖像中波音747類飛機目標的識別率達到80%。考慮到目標的散射結構特征對于合成孔徑雷達圖像分析非常重要,Dou等人[67]提出了一種結合梯度顯著圖的強度和散射結構特征的SAR圖像高分辨率機場區域飛機識別算法,該算法先利用基于閾值分割與雜波建模的CFAR來分割目標圖像,在此基礎上,提出了一種基于方向局部梯度圖的有效目標定位方法以檢測飛機目標,其在3.0 m分辨率的數據集上進行了實驗,識別結果證明了該方法的準確性。Tan等人[70]基于圖像顯著圖,提出了一種基于方向局部梯度分布的梯度紋理顯著性映射方法,實現SAR圖像中飛機目標的檢測。該方法通過局部窗口中的局部梯度點密度計算像素屬于目標的概率,在相鄰像素之間施加交互約束,將目標的明暗像素連接起來,實現完整飛機目標的提取與組合。
隨著人工智能技術的不斷發展,深度學習在圖像處理領域展示了強大的特征提取及學習能力,它將以往需要人工設計的特征交給復雜的網絡結構便可以獲得一個較好的結果。深度學習在SAR圖像處理領域的應用已成為新的研究熱點。本文以算法是否利用目標的散射特征進行區分,將現有基于深度學習方法中的飛機目標檢測識別方法分為直接應用深度學習和基于目標散射特征與深度學習結合兩類。
本文將現有深度學習研究方法中典型網絡主要分為3大類:卷積神經網絡(Convolutional Neural Network,CNN)、深度置信網絡(Deep Belief Network,DBN)以及區域卷積神經網絡(Region Convolutional Neural Network,RCNN)。在卷積神經網絡應用方面,王思雨等人[71]提出了基于數據增強與卷積神經網絡的SAR圖像中飛機目標檢測算法,首先通過滑動窗選取候選切片,再通過卷積神經網絡對候選切片進行鑒別。在深度置信網絡應用方面,Dou等人[72]提出了一種利用形狀先驗來精確提取輪廓形狀特征飛機目標重建方法,該方法分為兩個階段:在深度形狀先驗提取階段,使用生成式深度學習建模方法獲得目標形狀先驗;在重建階段,提出了一種結合優化算法的從粗到精的目標姿態估計方法,為目標識別提供有效的先驗信息。在區域卷積神經網絡應用方面,He等人[73]為了探索目標與部件間的結構關系,從不同分辨率描述目標,并搭建了整體目標與部件目標組成的多尺度檢測器實現對目標與部件的檢測,最后采用小區域非極大值抑制算法進行網絡檢測結果的合并,基于TerraSAR-X數據的實驗證明了該方法是可行的。An等人[74]基于旋轉最小鄰接矩形框,采用特征金字塔網絡改善小目標檢測效果,同時提出了一種結合困難樣本挖掘及焦點損失的方法改善在目標檢測中正負樣本不均衡的問題,并在高分3號等數據集上驗證了其算法的可行性。類似的,在光學圖像中也有同樣的處理方法,趙丹新等人[75]首先構建圖形與模板金字塔進行多尺度檢測,然后利用全卷積網絡提取不同層的上下文信息,實現對遙感圖像中飛機目標的高精度檢測。Zhang等人[76]提出了一種級聯三視的網絡結構用于SAR圖像中飛機目標檢測,基于faster R-CNN網絡結構實現機場檢測,在此基礎上通過切片及圖像處理的方法對目標進行檢測與鑒別;He等人[77]針對TerraSAR-X圖像中飛機墳場的飛機目標具有明顯的部件分離結構的特點,提出了一種基于飛機組件的多層并行網絡,利用訓練后的模型檢測出整體目標和相應的部件,采用最大概率和先驗信息來濾除虛警。隨著計算機視覺網絡的不斷迭代更新,譚振宇等人[78]提出了一種改進型faster R-CNN目標檢測算法,將非頂層特征圖與頂層特征圖進行融合,并結合自適應閾值進行訓練,該算法應用于小樣本飛機目標檢測時效果有明顯提升。針對現有深度學習算法直接應用到SAR圖像中目標檢測時存在冗余特征映射的問題,Lin等人[79]提出了一種基于壓縮與激勵機制的faster R-CNN算法用于SAR圖像中艦船目標檢測,對神經網絡提取的特征向量進行編碼及篩選,反向校正子特征圖,改善網絡檢測效果。
然而,深度學習對訓練數據依賴很強,而SAR圖像中目標的多變性使得同一目標在不同的成像條件下成像結果往往會有較大差異,這對強烈依賴訓練數據的神經網絡是非常不利的。因此,對于SAR圖像中飛機目標檢測與識別問題,直接應用深度學習典型網絡,或者簡單結合目標結構特征并不能獲得一個魯棒的結果。本文認為如何將深度學習與目標散射特征結合,提高網絡或模型的泛化能力,是提升SAR圖像中目標解譯精度的關鍵問題。
在深度學習與目標電磁散射信息相結合方面,國內學者也做了一些工作。本文將現有研究中目標電磁散射信息與深度學習結合的方法主要分為隱式結合散射信息改進網絡結構與顯式結合散射信息增強圖像信息兩大類。在改進網絡結構方面:針對SAR圖像中艦船檢測,考慮到SAR圖像中小尺度艦船強散射點占用像素少的問題,Cui等人[80]提出了一種基于密集注意力的金字塔網絡,將卷積注意模塊與金字塔網絡各個級聯特征圖相連,該方法將顯著特征與全局非模糊特征進行結合,有效提升SAR圖像中目標檢測精度。針對高分辨率SAR圖像中區域級艦船目標灰度對比度低的問題,Wei等人[81]提出了一種高分辨率特征金字塔網絡結構,并行連接從高分辨率到低分辨率的子網絡,從而增強網絡中的目標顯著信息,改善算法對區域級艦船目標的檢測效果。考慮到SAR圖像中飛機目標具有離散的強散射點的特征,Zhao等人[82]提出了一種金字塔注意膨脹網絡(Pyramid Attention Dilated Network,PADN)結構,其關鍵組成部分為多分支膨脹卷積模塊(Multi Branch Dilated Convolution Module,MBDCM)和卷積塊注意模塊(Convolution Block Attention Module,CBAM)。MBDCM用于改善飛機離散特征之間的關系,而CBAM對重要信息進行提煉,建立了一種精確檢測SAR圖像中飛機的方法。在增強圖像信息方面,考慮到SAR圖像中飛機易表現為離散的強散射點,并且飛機目標部件分布滿足混合高斯模型的特征,本團隊[83,84]提出了一種基于散射信息與深度學習融合的SAR圖像中飛機目標檢測方法,首先通過對目標散射特征的分析與提取,進行圖像散射信息的增強;然后利用神經網絡強大的特征提取能力,結合目標與背景的上下文信息,實現對飛機目標的高精度檢測。
本團隊提出的基于散射信息與深度學習融合的飛機目標檢測算法框架如圖8所示。
本實驗采用C波段的高分3號衛星與X波段Terra-SAR衛星圖像數據對算法進行驗證。高分3號衛星數據分辨率為1 m×1 m,極化方式為HH極化;TerraSAR-X衛星數據分辨率為1 m×1 m,極化方式為HH極化。在64景圖像上對算法進行了驗證,其中,在飛機檢測步驟中,將圖像制作為2000像素×2000像素的切片,按照9:1的比例劃分了訓練集與測試集。
針對高分辨SAR圖像中飛機目標檢測,本實驗采用了一種基于自適應鑒別算子的機場檢測算法,通過對連通域的形態,面積及孔洞占比等特征分析,精確地提取機場區域。機場檢測算法有利于在SAR圖像的大場景中快速定位機場區域,減少計算量。精確的機場檢測算法對于場景圖中機場以外區域與機場除停機坪外區域的虛警都具有良好的剔除效果,有效提升算法性能。如圖9展示了在大場景SAR圖像下機場檢測前后的飛機目標檢測結果對比。
詳細性能比較結果如表2所示。分析實驗結果后可以發現,通過精確的機場檢測算法,飛機目標檢測算法的虛警率可降低7.2%,檢測結果中精確率有顯著提升。此外,有效的機場檢測算法也可大幅減少后續飛機目標檢測識別流程中的計算量,提升算法效率。

圖8 融合散射信息與深度學習的SAR圖像中飛機目標檢測算法框架Fig.8 Framework of the proposed aircraft detection algorithm in SAR imagery

圖9 機場檢測算法效果Fig.9 Effectiveness of the proposed airport detection algorithm in SAR imagery

表2 機場檢測算法效果論證Tab.2 Demonstration of airport detection algorithm effectiveness
圖像散射特征信息增強后的多通道圖像可為特征金字塔網絡提供有效先驗信息。雖然在SAR圖像中飛機的不同部件具有不同的散射機理,但其中大部分都可以描述為強散射點的組合。強散射點隨幾何結構和外部條件的變化波動較小,且不需要先驗知識,具有更好的應用能力。因此算法選取具有尺度不變性和旋轉不變性的Harris-Laplace檢測器對強散射點進行提取,然后采用高斯混合模型對散射點進行建模。除此之外,算法采用初始聚類算法DBSCAN(Density-Based Spatial Clustering of Applications with Noise)進行目標初始聚類?;谏⑸湫畔⒃鰪姾蠖嗤ǖ缊D像,采用特征金字塔網絡進行目標檢測。
在高分3號與TerraSAR衛星圖像上飛機目標檢測結果分別如圖10和圖11所示。其中,上半部分為未經散射信息增強檢測結果,下半部分為散射信息增強后檢測結果,綠色框代表正確檢測目標,黃色框代表虛警目標,紅色框代表漏檢目標。通過對實驗結果進行分析,可以發現圖像散射信息增強有利于提升算法對目標的檢測率,同時在一定程度上抑制了虛警的產生。因為對圖像進行散射信息增強在一定程度上相當于為神經網絡提供先驗目標信息,與原始圖像相比,突出了目標特征而弱化了背景雜波的影響,有利于特征金字塔網絡提取并學習有效特征。
在高分3號與TerraSAR-X衛星數據上的實驗驗證了本實驗算法的魯棒性與可行性,算法效果比較如表3所示。測試結果表明在未進行散射信息增強時,特征金字塔網絡算法檢測率為92.4%,虛警率為10.7%;而在散射信息增強后,該算法可在虛警率為7.9%的情況下檢測率達到95.4%,驗證了散射信息增強的有效性。
目前,SAR圖像中飛機目標檢測識別算法已經取得了一定的成果,SAR-ATR系統也日臻完善。統一的算法評價標準是用來衡量所研究算法價值的有效途徑。本文概括現有算法評價標準主要基于如下3個方面:
(1) 算法的精度:SAR圖像中飛機目標檢測識別算法應具有較低的虛警率與極高的檢測識別率。過高的虛警率會導致算法檢測結果可信度降低,不具有實際應用價值;漏檢或錯誤識別目標則會導致關鍵目標的遺失。

圖10 高分3號圖像飛機檢測結果Fig.10 Results of aircraft detection in Gaofen-3 SAR images

圖11 TerraSAR-X圖像飛機檢測結果Fig.11 Results of aircraft detection in TerraSAR-X SAR images
(2) 算法的速度:SAR圖像中目標檢測識別算法應盡可能減少操作的數據量,減少網絡訓練及推理所需要的時間,提升運行速率,滿足實際應用中的需求。
(3) 算法的穩定性:算法應當具有較高的魯棒性,能夠克服由于SAR成像所導致的噪聲及雜波的干擾,同時能夠在成像角度與目標背景發生變化時,對同一目標仍能實現高精度的檢測識別;同時一個穩定的算法應具有可擴展性,能夠處理大規模數據集。
上文對目前已有的SAR圖像中飛機目標檢測識別算法做了較為詳細的闡述。為了便于比較,本節結合上述評價標準,提綱掣領地指明各類算法具有的優勢及存在的問題,如表4所示。

表3 基于GF-3與TerraSAR-X衛星數據的散射信息增強效果對比Tab.3 Results of algorithm without/with scattering information enhancement based on GF-3 and TerraSAR-X data

表4 SAR圖像飛機目標檢測識別算法對比Tab.4 Comparison of different aircraft detection and recognition methods in SAR imagery
針對上述各類算法存在問題,結合目前國內外已有的各類算法,本文認為SAR圖像中飛機目標檢測識別的下一步研究方向可以考慮如下幾個方面:
(1) SAR專用神經網絡的設計:現有基于深度學習的目標檢測算法網絡結構主要是基于計算機視覺網絡架構的遷移,著重考慮光學圖像中目標特征,未在網絡結構中顯式結合SAR成像機制及飛機目標獨特的散射特性,事實上,SAR與光學的成像機理具有本質的區別,對觀測角度極為敏感。因此,在成像角度或背景發生變化的情況下,網絡檢測識別效果總會有一定程度的下降,泛化能力較差。后續研究可以結合現有的深度學習技術,發展適應電磁信息的認知智能算法[84]??紤]結合背景散射雜波的復雜性與不均勻性、飛機目標的離散性與多變性等SAR圖像特性,設計SAR專用的神經網絡基本單元結構,提升算法的泛化能力。
(2) 復數圖像特征的挖掘:SAR圖像以復數形式記錄某個波段的回波信息,而復數信息可對應變換提取為圖像的振幅與相位信息。SAR圖像獨有的相位信息是其余傳感器所無法獲取的。事實上,目標和雜波在實圖像上表現出差異的本質是由二者的回波特性不同所導致的[6]?,F有大多數目標檢測識別算法僅基于圖像的幅度信息而忽略了可用于目標特征分析的相位信息。因此,從理論上來講,通過對二維SAR回波特性和成像機理的深入研究,提取目標復數特征,進一步發展更為精確的目標檢測與識別算法具有探索意義。
(3) 少樣本或樣本不均衡條件下的算法設計:現有基于深度學習的目標檢測識別算法普遍存在對訓練樣本需求量大的特點。而在實際應用中,由于SAR成像機制較為復雜,數據來源較少,且圖像中目標離散、尺寸較小,存在相干斑噪聲干擾,獲取大量且均衡的訓練數據是非常困難的。因此,如何在少樣本或樣本不均衡的條件下,結合SAR圖像目標仿真等技術,設計弱監督或無監督學習算法具有重要研究意義。
(4) 算法的普適性與不同傳感器數據的處理:受數據集的限制,本文算法只在GF-3 SAR和TerraSAR-X數據上進行驗證。不同傳感器數據必定會影響算法性能,可以通過建立對應的數據集來訓練或者遷移學習形成新的網絡。機場檢測與飛機檢測算法對數據的依賴性比較小,具有較強的魯棒性;但對于飛機目標的識別,建立特定傳感器的數據集來訓練分類是非常有必要的。通過多源數據集的融合,提高目標檢測識別的性能也值得進一步研究。
合成孔徑雷達作為一種全天時、全天候的微波成像雷達,是空間對地觀測的有效工具,在軍用與民用領域都發揮著重要的作用。本文回顧了合成孔徑雷達圖像解譯技術的發展,介紹了SAR圖像中飛機目標檢測識別的通用流程,指出SAR圖像中飛機目標高精度定位與識別技術受限于目標的離散性、多變性以及復雜背景的影響,現有技術存在適用范圍小、魯棒性不強,或缺乏理論支撐的短板,限制了SAR圖像中飛機目標檢測及識別技術大規模推廣應用。本文著重從算法是否采用目標散射特征為出發點,從傳統方法與深度學習兩個方面對SAR圖像中飛機目標檢測識別進行了較為全面的綜述,并提出了一種基于散射信息增強與深度學習結合的飛機目標檢測算法。隨著SAR技術的不斷發展,檢測識別算法也將隨之變化,相信隨著更多學者的深入研究,這一領域會有更多實際性成果。