基于特征空間結構對齊域自適應的機載SAR自動目標識別方法

摘 要：由于機載合成孔徑雷達（SAR）系統(tǒng)的快速發(fā)展和深度學習的廣泛應用，基于卷積神經(jīng)網(wǎng)絡的SAR圖像自動目標識別技術已經(jīng)取得了長足的發(fā)展。然而，由于真實測量獲得的SAR數(shù)據(jù)較少，難以滿足深度學習算法對大量訓練樣本的需求，目前已經(jīng)有研究利用仿真SAR圖像彌補真實SAR圖像樣本較少的缺陷。由于仿真SAR圖像和真實SAR圖像之間的差異，當前的主流研究方法是通過領域自適應（DA）的方法，將真實圖像和仿真圖像映射到相同的特征子空間中，從而提取域不變特征。然而，當前結合DA和仿真圖像的SAR 自動目標識別算法只關注了不同域之間樣本內特征分布的相似度，卻忽視了樣本間的特征分布也包含了一定程度的語義信息。為了解決上述問題，本文提出了一種基于特征空間結構對齊的DA算法，充分挖掘仿真SAR圖像和真實SAR圖像之間共享的語義信息，從而顯著地提升了深度學習模型在少樣本情境下的識別性能。經(jīng)過充分的試驗和分析，試驗結果證明了本文所提出方法不僅有較高的識別準確率，而且具備較強的泛用性和魯棒性。

關鍵詞：SAR ATR； 域自適應； 特征空間結構對齊； 小樣本學習； SAR仿真

中圖分類號：TP391 文獻標識碼：A DOI：10.19452/j.issn1007-5453.2024.08.008

基金項目： 航空科學基金（20182077008，2018ZC07009）；中央高校基本科研業(yè)務費專項資金

近年來，隨著合成孔徑雷達（SAR）載荷的小型化和輕量化，以及信息處理和通信技術的發(fā)展，以無人機、小型航天飛機為載體的機載SAR取得了快速發(fā)展和廣泛運用。在軍用領域，美軍先后研制裝備了多型無人機載SAR偵察遙測系統(tǒng)，如“全球鷹”系統(tǒng)、“捕食者”系統(tǒng)和“火力偵察兵”系統(tǒng)等，能夠短時、快速地獲取大量高分辨率的SAR圖像。在民用領域，無人機載SAR系統(tǒng)在地形測繪、災害評估和環(huán)境監(jiān)測等領域的應用日益廣泛。近20年來，我國為適應現(xiàn)代戰(zhàn)爭與民用微波遙感信息獲取的需要，也對無人機載SAR系統(tǒng)進行了技術研究與開發(fā)，并已經(jīng)形成了系列化產品。在無人機載SAR圖像的應用中，對機載SAR獲得的目標圖像進行自動目標識別（ATR）一直是無人機載SAR圖像應用的關鍵技術。

基于SAR圖像提取高質量目標特征始終是SAR ATR研究的核心。然而與光學圖像不同，SAR圖像因為其復雜的相干斑噪聲和背景雜波、較低的分辨率等因素，往往具備解譯的困難性。傳統(tǒng)的SAR ATR技術常常通過利用多種濾波器算子，關注目標的紋理特征，但是由于SAR圖像的固有性質，不能取得良好的結果。近年來，隨著深度學習等數(shù)據(jù)驅動技術的進步，利用深度編碼器從圖像中獲得高維特征已經(jīng)成為SAR ATR技術的主流研究方向。大量的研究證明，基于深度學習技術獲得的高維特征在目標識別性能上取得了優(yōu)異的表現(xiàn)[1-3]。

值得注意的是，由于深度學習技術的數(shù)據(jù)驅動特性，大量可獲得的標注樣本一直是神經(jīng)網(wǎng)絡模型取得良好性能最為基礎的底層假設。但是，由于獲取經(jīng)過良好標注的SAR圖像的成本較高，現(xiàn)有環(huán)境往往難以滿足深度學習算法對于樣本數(shù)量的需求。與被動光學成像不同，SAR是一種主動成像系統(tǒng)，具備高度的可控性，為成像仿真提供了良好的環(huán)境。經(jīng)過多年研究，SAR圖像仿真已經(jīng)發(fā)展成為一項成熟的技術，廣泛應用于SAR系統(tǒng)開發(fā)、算法測試和數(shù)據(jù)驗證[4]。由于SAR仿真過程中真實地反演和再現(xiàn)了目標和電磁波之間的電磁相互作用，因此獲得的仿真圖像與真實測量圖像之間共享相同的目標語義信息。在上述前提下，SAR仿真數(shù)據(jù)可以作為一種輔助手段，提升深度學習模型在少樣本情形時的分類性能。

然而，由于仿真和真實測量之間的差異，仿真圖像和真實圖像之間同樣存在固有差異，導致直接將仿真圖像作為樣本與真實圖像混合用于訓練網(wǎng)絡不能取得良好的識別性能。為此，已經(jīng)有研究通過將仿真SAR圖像和真實SAR圖像之間的差異視作域差異，通過領域自適應（DA）的方法充分地發(fā)揮了仿真數(shù)據(jù)的作用[5-7]。DA的常規(guī)做法是使用結構相同、參數(shù)共享的編碼器同時對仿真SAR圖像和真實SAR圖像進行特征提取，通過對齊兩者特征的分布獲得仿真域和真實域的公共特征空間。國內已經(jīng)有許多針對異源遙感數(shù)據(jù)的DA研究，任海洋[8]提出了一種基于編碼器-解碼器結構的風格遷移的方法以快速生成仿真SAR圖像，并基于孿生網(wǎng)絡結構對特定已知目標進行訓練以提取域不變鑒別特征，從而實現(xiàn)異源目標的跨域識別；宋玉成等[9]通過融合多尺度特征和局部上下文信息及背景抑制來改進興趣區(qū)域變換網(wǎng)絡的特征表達。但是現(xiàn)有的DA方法往往只關注特征空間在樣本對內的分布相似性，并沒有關注特征空間在樣本對間的分布也同樣具備語義信息。簡單的特征對齊并不能充分挖掘仿真SAR圖像和真實SAR圖像之間共享的語義信息，因此限制了模型性能的進一步提升。

為了解決上述問題，本文提出一種新的基于特征空間結構對齊的DA方法，實現(xiàn)對仿真數(shù)據(jù)更好的利用。經(jīng)過試驗證明，所提出的方法顯著地增強了利用仿真SAR圖像輔助真實SAR圖像完成小樣本機載SAR ATR任務時的模型性能。

1 基于特征空間結構對齊的域自適應

1.1 傳統(tǒng)域自適應算法

在介紹本文提出的算法之前，首先需要對傳統(tǒng)的DA方法進行論述。

上述傳統(tǒng)的DA算法雖然能夠一定程度上對齊真實SAR圖像和仿真SAR圖像之間的特征分布，但是由于計算樣本對特征之間的KL散度只關注了特征空間的局部結構，缺乏對特征空間整體分布情形的刻畫，因此并不能充分發(fā)掘真實SAR圖像和仿真SAR圖像間共享的語義信息，造成一定程度的信息泄露。

為了深入提取域不變特征，實現(xiàn)更高性能的域對齊，本文提出了基于特征空間結構對齊的DA（DA-FSSA）。DA-FSSA分為兩部分，分別是樣本內的特征對齊和樣本間的特征對齊，同時關注了特征空間的局部結構和整體結構。

1.2 DA-FSSA模型及損失函數(shù)

因此，在域對齊中將樣本對間的分布相似性納入考慮范疇，本文提出了樣本間特征分布損失函數(shù)

與樣本內特征對齊不同，樣本間特征對齊關注的是不同樣本的特征在某一維度上分布的差異，通過減小分布差異，能夠使基于真實SAR圖像和基于仿真SAR圖像分別獲得的特征空間中多個樣本特征之間的相互關系維持一致，而不僅僅是單個樣本對的特征相似。

然而，雖然分別利用KL散度能夠很好地對特征空間的結構進行雙重對齊，但是由于KL散度來源于信息論中的相對熵，其本質是原始分布與目標分布對數(shù)化后差值的均值，僅僅能夠刻畫分布之間的一階信息，并不能對整個K′N的特征空間進行充分的刻畫，因此，需要對特征空間的結構進行更高階表示。

整體模型結構如圖2所示。在訓練階段，首先，輸入多對真實-仿真SAR圖像對，并使用共享參數(shù)和結構的編碼器分別對其進行編碼，生成真實SAR圖像和仿真SAR圖像的特征空間。其次，對特征空間結構進行對齊，依據(jù)前述的方法，特征空間對齊分為三部分，分別是樣本內特征對齊、樣本間特征對齊以及基于二階統(tǒng)計量的協(xié)方差對齊，分別生成相應的對齊損失函數(shù)。最后，特征空間通過全連接層和Softmax函數(shù)生成預測結果，并與對應的標簽空間生成交叉熵損失。模型完成訓練后，在測試階段，只需要輸入真實或仿真的SAR圖像，直接將編碼器獲得的圖像特征映射到標簽空間即可得到預測結果[11]。

2 試驗及分析

2.1 試驗數(shù)據(jù)集

本文使用的試驗數(shù)據(jù)集是參考文獻[11]給出的合成與測量成對標記試驗數(shù)據(jù)集（SAMPLE），包括來自機載SAR系統(tǒng)真實測SAR圖像，以及與其匹配的仿真SAR圖像，部分圖像如圖3所示。

由于真實測量的SAR圖像和通過電磁計算仿真得到的SAR圖像之間滿足目標配置條件和傳感器參數(shù)一致，因此可以認為兩者具備相同的目標語義信息。SAMPLE數(shù)據(jù)集為研究真實測量和模擬仿真得到的不同SAR圖像的利用提供了一個合適的途徑。

2.2 試驗設置

試驗中采用的基線算法為將仿真SAR圖像和真實SAR圖像進行混合共同訓練的經(jīng)驗風險最小化算法（ERM）。在試驗中，20%的SAMPLE數(shù)據(jù)集被作為訓練樣本，余下的80%作為測試樣本，所有測試樣本都被調整為128×128的尺寸大小，SAMPLE數(shù)據(jù)集10類目標的具體試驗數(shù)據(jù)分布見表1。在試驗中，λ1、λ2 和λ3均被設置為0.1，模型訓練100個迭代周期，大小為64。測試和訓練采用了NVIDIA RTX A6000 GPU，并基于PyTorch 深度學習框架實現(xiàn)。

2.3 試驗結果

（1） 與基線的對比

在試驗中，分別選擇VGG16和ResNet18作為骨干網(wǎng)絡構建所提出的DA-FSSA模型，比較其與基線網(wǎng)絡在SAMPLE數(shù)據(jù)集10類目標上的分類性能差異以及總體分類精度（OA），見表2。

從試驗結果中可以得出，無論骨干網(wǎng)絡是VGG16還是ResNet18，所提出的基于DA-FSSA的域對齊方法相對于基線方法，性能都得到了顯著的提升。以VGG16作為骨干網(wǎng)絡時，DA-FSSA方法的精度提升了3.45%。以ResNet18作為骨干網(wǎng)絡時，DA-FSSA方法的精度提升了4.01%。通過不同骨干網(wǎng)絡的對比可以看出，DA-FSSA是一種對模型魯棒的高泛用性模塊，能夠輕易插入任何SAR ATR模型中，增強模型在域適應時的性能。

（2） 與DA算法的對比

用于和本文所提出的DA-FSSA進行比較的是已在遷移學習領域獲得廣泛應用的經(jīng)典DA算法，在本文中，選擇深度適應網(wǎng)絡（DAN） [12]、對抗訓練神經(jīng)網(wǎng)絡（DANN）[13]、聯(lián)合適應網(wǎng)絡（JAN）[14]、條件域對抗網(wǎng)絡（CDAN）[15]和Deep Coral[10]算法作為對比方法。

為了驗證本文所提出的DA-FSSA算法相較其他DA算法的優(yōu)勢，表3顯示了利用ResNet18作為骨干網(wǎng)絡時的DA-FSSA與包括DAN、JAN在內的多種經(jīng)典主流DA算法的性能對比。圖3展示了用于對比的DA方法和本文提出的DA-FSSA模型在分類時的混淆矩陣對比。

從試驗結果中可以得出，本文提出的DA-FSSA方法相對于其他DA算法，擁有明顯的性能優(yōu)勢。具體而言，對于DAN和JAN，分類整體精度OA分別提高了5.13%和4.57%。相較于域對抗類方法DANN和CDAN，DA-FSSA的精度提升分別為3.17%、3.35%，相較于常常用于域泛化問題的Deep Coral算法，DA-FSSA的精度提升了1.96%。上述經(jīng)典DA方法在利用仿真SAR圖像輔助真實SAR 圖像進行少樣本ATR的任務時精度不高的原因可能是因為樣本量的缺乏，導致基于MMD距離的算法過多地關注了樣本的逐點對齊，從而產生了過擬合，降低了模型的泛化性能。而DA-FSSA算法基于KL散度度量域差異，緩解了少樣本情形時的過擬合問題。

3 結論

由于機載無人機SAR系統(tǒng)的快速發(fā)展，快速獲得大量高分辨率的機載SAR圖像成為可能，針對機載SAR圖像的ATR技術日益得到重視。為了更好地利用仿真SAR圖像輔助真實機載SAR圖像進行少樣本情形的ATR，本文提出了一種基于特征空間結構對齊的DA-FSSA方法。DAFSSA方法首先通過對樣本內的特征對齊和樣本間特征對齊同時捕獲特征空間的結構，并且利用二維特征空間的協(xié)方差信息作為一種二階統(tǒng)計量，進行更深層次的特征空間結構對齊。在SAMPLE數(shù)據(jù)集上進行的少樣本試驗驗證表明，所提出的DA-FSSA顯著提升了少樣本SAR ATR的性能。

參考文獻

[1]Wilmanski M， Kreucher C， Lauer J. Modern approaches in deep learning for SAR ATR[C]//Proceeding of PIE 9843， Algorithms for Synthetic Aperture Radar Imagery， 2016.

[2]董鳳禹，魏振忠.面向空中小目標檢測任務的YOLOv7改進模型[J].航空科學技術，2023，34（12）：111-117. Dong Fengyu， Wei Zhenzhong. An improve YOLOv7 model for small aerial object detection[J]. Aeronautical Science & Technology， 2023，34（12）：111-117. （in Chinese）

[3]周曠，姜名.基于遷移學習的小樣本目標識別研究進展與展望[J].航空科學技術，2023，34（2）：1-9. Zhou Kuang， Jiang Ming. Research progress and prospect of small sample target recognition based on transfer learning[J]. Aeronautical Science & Technology， 2023， 34（2）： 1-9. （in Chinese）

[4]Stefan A， Stefan H， Richard B. Ray-tracing simulation techniques for understanding high-resolution SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（3）：1445-1456.

[5]Wang Kai， Zhang Gong， Leung H. SAR target recognition based on cross-domain and cross-task transfer learning[J]. IEEE Access， 2019， 7： 153391-153399.

[6]Malmgren-Hansen D， Kusk A， Dall J， et al. Improving SAR automatic target recognition models with transfer learning from simulated data[J]. IEEE Geoscience and Remote Sensing Letters， 2017， 14（9）：1484-1488.

[7]Liu Lei， Pan Zongxu， Qiu Xiaolan， et al. SAR target classification with CycleGAN transferred simulated samples[C]// Proceeding of IGARSS， 2018.

[8]任海洋. 基于域自適應的異源SAR圖像目標識別[D].西安：西安電子科技大學， 2023. Ren Haiyang. Target recognition in heterogeneous SAR images based on domain adaptation[D]. Xi’an： Xidian University， 2023.（in Chinese）

[9]宋玉成，李景潤，田甜，等. 跨模態(tài)域自適應SAR圖像艦船檢測與識別[J].華中科技大學學報（自然科學版），2022，50（11）： 107-113. Song Yucheng， Li Jingrun， Tian Tian， et al. Ship detection and recognition in SAR images with cross-modality domain adaption [J]. Huazhong University of Science & Technology（Natural Science Edition）， 2022， 50（11）： 107-113.（in Chinese）

[10]Sun B， Saenko K. Deep coral： correlation alignment for deep domain adaptation[C]. Computer Vision ECCV 2016 Workshops， 2016： 443-450.

[11]Lewis B， Scarnati T， Sudkamp E， et al. A SAR dataset for ATR development： the synthetic and measured paired labeled experiment （SAMPLE） [C]// Proceeding of SPIE 10987， Algorithms for Synthetic Aperture Radar Imagery， 2019.

[12]Long Mingsheng， Cao Yue， Wang Jianmin， et al. Learning transferable features with deep adaptation networks[C]// Proceeding of ICML， 2015： 97-105.

[13]Ganin Y， Ustinova E， Ajakan H， et al. Domain-adversarial training of neural networks[J]. The Journal of Machine Learning Research， 2016， 17（1）： 2096-2030.

[14]Long Mingsheng， Zhu Han， Wang Jianmin， et al. Deep transfer learning with joint adaptation networks[C]// Proceeding of ICML， 2017： 2208-2217.

[15]Long Mingsheng， Cao Zhangjie， Wang Jianmin， et al. Conditional adversarial domain adaptation[J]. Advances in Neural Information Processing Systems， 2018， 31（1）： 1-11.

Airborne SAR Automatic Target Recognition Method Using Domain Adaptation Based on Feature Space Structure Alignment

Han Fangzhou1， Zhang Lamei1， Lu Da2

1. Harbin Institute of Technology，Harbin 150001，China

2. AVIC Leihua Electronic Technology Research Institute， Wuxi 214082，China

Abstract： Due to the rapid development of airborne Synthetic Aperture Radar （SAR） system and deep learning theory， the airborne SAR automatic target recognition technology based on convolutional neural network has made great progress. However， due to the small amount of SAR data obtained by real measurements， it is difficult to meet the requirement of deep learning algorithms for a large number of training samples. At present， there have been studies using simulated SAR images to make up for the defect of the small number of real SAR image samples. Due to the differences between simulated SAR images and real SAR images， the current mainstream research method is to map real images and simulated images into the same feature subspace through Domain Adaptation （DA）， so as to extract domain invariant features. However， the current SAR ATR algorithm combining DA and simulation images only pays attention to the similarity of feature distribution of the single sample pair in different domains， but ignores that the feature distribution between sample pairs also contains a certain degree of semantic information. In order to solve the above problems， this paper proposes a DA algorithm based on feature space structure alignment to fully mine the semantic information shared between simulated SAR images and measured SAR images， thus significantly improving the recognition performance of deep learning models in the context of small samples. After sufficient experiment and analysis， the experimental results prove that our proposed method not only has high recognition accuracy， but also has strong universality and robustness.

Key Words： SAR ATR； domain adaptation； feature space structure alignment； few-shot learning； SAR simulation