基于注意力機制的堆疊LSTM網絡雷達HRRP序列目標識別方法

張一凡, 張雙輝, 劉永祥, 荊 鋒

(1. 國防科技大學信息通信學院, 陜西 西安 710106;2. 國防科技大學電子科學學院, 湖南 長沙 410073)

0 引 言

雷達具有全天時、全天候工作和遠距離探測的能力,在導彈防御、空間目標監視中發揮著至關重要的作用[1],因此雷達自動目標識別(radar automatic target recognition, RATR)技術一直是國內外相關領域的研究熱點。用于目標識別的雷達數據有3種,即合成孔徑雷達(synthetic aperture radar,SAR)圖像、逆SAR(inverse SAR,ISAR)圖像和高分辨距離像[2](high resolution range profile, HRRP)。由于SAR/ISAR圖像的獲取難度較大,實際中難以獲取質量較高的二維圖像,同時具有數據量大、運算量大等缺點,而HRRP具有成像簡單、易于獲取、數據量小、運算復雜度低等優勢[3],因此HRRP自動目標識別技術成為了一種很有應用前景的識別方法。在目標識別場景中,目標的運動軌跡和狀態具有連續性,接收機所接收到的HRRP序列相鄰回波之間存在空間和時間上較強的相關性[4-5],然而傳統的HRRP識別方法只用到了單個HRRP樣本,忽略了相鄰樣本之間的時空相關性,造成信息損失,因此本文將主要研究基于HRRP序列的雷達目標識別方法。

根據分類器原理的不同,HRRP序列識別方法可以大致分為3類。第1類是基于統計學習算法的識別方法,Du等人[6]利用基于統計特征的識別方法提出了新的目標HRRP的特征提取方法;文獻[7]提出將支撐矢量機(support vector machine, SVM)作為HRRP序列識別模型,提高了識別性能,但是此類算法存在識別精度低、收斂速度慢等不足。第2類是隱馬爾可夫模型(hidden Markov model, HMM),文獻[8]利用長寬相關HRRP序列進行建模,其中跨距離單元的空間結構用HMM結構描述,HRRP樣本之間的時間相關性用轉移的時間演化描述概率,在一定程度上提高了識別精度。第3類方法是基于神經網絡算法的識別方法,反向傳播(back propagation,BP)網絡[9]、受限玻爾茲曼機網絡[10]、自組織神經網絡[11]等淺層神經網絡在HRRP識別任務中主要被當作分類器使用;包含多個隱藏層的深層神經網絡能夠完成特征提取和分類任務,包括深度置信網絡[12](deep belief network,DBN)、卷積神經網絡[13-14](convolutional neural networks, CNN)和循環神經網絡[15-16](recurrent neural networks, RNN),相比于人工特征提取方式,深層網絡可以提取到樣本中更多深層且可分性強的特征,從而獲得更優的識別性能,文獻[16]使用RNN完成了對3類目標的HRRP樣本識別,在100個樣本的測試集上識別性能良好。然而,經典的RNN在訓練過程中容易出現梯度消失和梯度爆炸問題,進而影響模型的訓練和識別效果。文獻[17]使用長短時記憶(long short-term mememory, LSTM)網絡處理時序數據,LSTM網絡能夠有效利用序列數據中的長距離依賴信息,模型解決了梯度消失和梯度爆炸問題,該方法在HRRP識別任務上取得了較為理想的識別效果。

為進一步降低模型運算復雜度,將分類模型關注的重點集中在對識別影響較大的特征信息上,文獻[18]將注意力機制與RNN模型相結合,在雷達信號干擾抑制領域進行了探索,該方法有效提升了RNN的模型性能,但是模型在針對序列角誤差魯棒性方面還有待提高。文獻[19]在LSTM模型中引入了注意力機制,并用于飛機目標的HRRP識別,取得較為理想的識別效果。然而,隨著HRRP序列長度以及樣本容量的增加,傳統的單層LSTM網絡已經無法滿足現實任務需求。文獻[20]使用3層堆疊LSTM(stacked LSTM, SLSTM)達到了更好的識別性能,然而該方法在LSTM層數超過3層時,會再次出現梯度消失現象,從而導致淺層LSTM的權重無法在參數迭代中得到更新,因此本文擬將LSTM中傳統的激活函數替換為導數性能更優的Elu函數,以期緩解SLSTM網絡中出現的梯度消失問題。

針對目前上述HRRP序列目標識別所面臨的困難,本文提出一種基于注意力機制的SLSTM(attention-based SLSTM, Attention-SLSTM)網絡模型,模型的創新點主要包括以下幾點:

(1) 為了能提升單層LSTM模型的特征提取能力,將SLSTM模型引入到HRRP序列識別任務;

(2) 為區別關注多維特征點的HRRP序列數據中的重要信息,將注意力機制與SLSTM模型相結合,提出Attention-SLSTM模型;

(3) 為緩解Attention-SLSTM模型存在的梯度消失問題,采用求導性能更好的Elu函數替代Attention-SLSTM模型中原始的激活函數。

1 Attention-SLSTM模型

1.1 Attention-SLSTM模型結構

本文提出的基于LSTM的雷達HRRP序列目標識別方法Attention-SLSTM模型結構，其框架如圖1所示,模型分為輸入層、特征提取層、注意力層和輸出層。

圖1 Attention-SLSTM模型結構示意圖Fig.1 Structure diagram of Attention-SLSTM model

(1) 輸入層

采用公開的MSTAR(moving and stationary target acquisition and recognition)數據集作為試驗數據進行相關驗證實驗,該數據集由10種不同類型的SAR圖像樣本構成,本文數據預處理階段根據文獻[21]的方式將二維SAR圖像轉換為不同長度的HRRP序列。

(2) 特征提取層

模型采用SLSTM作為特征提取器,通過多層LSTM結構逐層提取HRRP序列的深層可分性特征,較低層提取到基本概念特征,而較高層則關注更加抽象的深層特征。每層輸出一個特征向量序列作為后續層的輸入,實現HRRP序列更有效的特征表示,增強模型的表達能力。在此過程中,為了緩解文獻[20]中出現的梯度消失問題,采用求導性能更優的Elu函數代替LSTM中的原始激活函數,進而促進模型更新迭代,提取更有效的深層抽象特征。

(3) 注意力機制層

模型在SLSTM的每一層輸出特征向量后添加注意力機制層[22-24],以前一層LSTM的隱藏狀態和單元狀態作為輸入,為隱藏層特征向量的各個區域計算權重,得到的加權LSTM隱藏狀態能夠學習更復雜的抽象特征層級的條件分布,更好地表示不同特征層級間的結構關系,進而增強特征的非線性表達能力。

(4) 輸出層

模型利用Softmax分類器[25]計算T時刻模型的分類輸出結果。輸出層的輸入為注意力矩陣與LSTM所提取的HRRP隱層序列特征的乘積,輸出為樣本類別。

1.2 特征提取層

SLSTM的基本組成結構是LSTM單元,是LSTM在同一時間步長上的堆疊,LSTM是一類特殊的RNN,能夠有效避免RNN存在的梯度消失和梯度爆炸問題,同時能夠有效提取和利用序列樣本中長距離依賴信息,常用于序列數據的處理[26-28]。圖2為LSTM模型的結構示意圖。

圖2 LSTM模型結構示意圖Fig.2 Structure diagram of LSTM model

LSTM單元通過輸入門it,遺忘門ft和輸出門ot進行狀態迭代。其中:

it=σ(Wixxt+Wi hht-1+bi)

(1)

ft=σ(Wfxxt+Wf hht-1+bf)

(2)

ot=σ(Woxxt+Wo hht-1+bo)

(3)

ct=ftct-1+itφ(Wcxxt+Wchht-1+bc)

(4)

ht=otφ(ct)

(5)

式中：xt表示當前時刻LSTM的輸入向量；ht-1、ct-1分別表示t-1時刻LSTM單元的隱藏層狀態和單元狀態；W為權值矩陣；b代表偏置向量；σ(·)為激活函數sigmoid；φ為tanh函數。

在LSTM單元中,sigmoid函數及其導數為

(6)

(7)

Sigmoid函數及導數圖像如圖3所示。

圖3 Sigmoid函數及其導數圖像Fig.3 Graph of sigmoid and its derivative

由圖(3)可知,sigmoid函數的導數取值范圍為(0,0.25],當LSTM層數增加,在目標函數多次求導時會導致梯度消失問題的出現,因此本文采用求導性能較好的Elu函數替換sigmoid函數作為SLSTM模型的激活函數,Elu函數及其導數分別為

(8)

(9)

相對應的函數圖像如圖4所示,由圖4可知,Elu函數導數的取值范圍為(0,1],可以減緩梯度消失現象的出現。

圖4 Elu函數及其導數圖像Fig.4 Graph of Elu and its derivative

1.3 注意力機制層

將Attention-SLSTM模型的注意力機制層展開如圖5所示。

圖5 本文注意力機制結構圖Fig.5 Structure of attention mechanism in this paper

注意力機制參數學習可分為3個步驟[29]。

步驟 1求解權重得分,權重即特征向量對模型識別的貢獻大小,其計算方法為

et=vT·tanh(Wa·Xt+b)

(10)

步驟 2求解歸一化權重,即加權系數:

(11)

步驟 3加權求和:

(12)

在式(10)～式(12)中,vT和b均為超參數,Wa為注意力矩陣,需要隨機初始化設置,Xt為輸入向量,維度為n×r,n表示模型批處理的樣本數,r為LSTM隱藏層神經元個數,輸入向量為LSTM的隱藏層狀態Ht或單元狀態Ct,即

(13)

(14)

1.4 輸出層

在得到SLSTM模型隱層序列特征Ht之后,采用softmax分類器輸出樣本的類別:

(15)

式中：p(ytj|X,θ)表示樣本序列屬于第j類的概率值;wj∈R1×m為分類器中的權值矩陣中的元素；m為隱層單元數。模型最終識別類別為所有j類概率值最大的類別。

2 實驗結果與分析

2.1 MSTAR數據集

MSTAR數據集[30-31]是SAR目標識別的標準數據集,其數據來源于分辨率為0.3 m×0.3 m的SAR,雷達在X波段工作,并且采用HH極化方式。MSTAR數據集中包含BTR70裝甲運輸車、BMP2步兵戰車和T72坦克等10種不同類別的地面樣本,其光學圖像和對應的SAR圖像樣本如圖6所示。數據集中的訓練數據來自雷達工作俯仰角為17°時所得到的目標圖像數據,而測試集數據的俯仰角為15°,以便于檢驗模型的泛化性能。

圖6 MSTAR數據集光學圖像及對應的SAR圖像樣本Fig.6 Optical and corresponding SAR image in MSTAR dataset

本文實驗將每幅SAR圖像按照文獻[19]的方法變換為HRRP序列。步驟為首先SAR圖像做一維逆快速傅里葉變換(fast Fourier transform, FFT)變換得到復數域HRRP序列,再對其取幅度值并求平均得到平均HRRP序列。在此過程中,每幅SAR圖像能夠得到100幅HRRP樣本,再將其轉換成10幅平均HRRP。由于原始MSTAR數據集中包含2 747個SAR圖像訓練樣本和3 203個測試樣本,因此可以得到27 470個HRRP序列訓練樣本和32 030個測試樣本,表1給出了該數據集的組成。

表1 MSTAR序列HRRP數據集的組成

2.2 實驗結果與分析

為驗證本文所提出方法在HRRP序列識別種的有效性,設計了兩類不同目的的對比實驗,分別檢驗本文SLSTM和注意力機制的有效性。設置了多種傳統機器學習方法和深度學習方法作為基線方法開展對比實驗,包括SVM、RNN、LSTM、SLSTM和Attention-RNN。為了消除實驗中隨機誤差對結果帶來的影響,每種實驗方法均在相同參數設置的條件下重復進行5次,最終結果取5次結果的平均值。

本文硬件實驗環境為64位操作系統,Inter Core i7-8500 CPU,一片RTX 2080Ti GPU,1T內存;軟件環境為python3.7,Tensorflow學習框架。

2.2.1 檢驗本文堆疊LSTM的有效性

為探究本文采用的SLSTM結構以及梯度消失緩解策略的有效性,本節對單層LSTM,以及不同層數L的SLSTM(SLSTM-sigmoid)和本文緩解梯度消失的SLSTM(SLSTM-Elu) 3種模型的識別性能進行了探究,實驗選取經預處理的長度為32的HRRP序列作為模型的輸入,最后一個時間步所提取的隱層特征輸入到Softmax分類器種完成識別任務。層數L的取值為1～10,層數L與識別性能之間的對應關系結果如圖7所示。由圖7可知,隨著LSTM層數的遞增,在一定范圍內,兩種SLSTM的識別率均保持上升趨勢,證明了堆疊的多層LSTM模型的HRRP序列識別性能優于單層模型,這是由于多層結構具有更強的特征提取能力,可以提取到更多的深層抽象可分性特征,其中包括序列種相鄰HRRP樣本之間的時空相關性。另外,SLSTM-Elu和SLSTM-sigmoid的識別率分別在LSTM層數為6和3之后出現下降,并在層數分別為8和4之后識別率低于單層模型,這是由于隨著層數的增加,兩種模型均出現了不同程度的梯度消失問題。值得注意的是,在每一個層數上,SLSTM-Elu模型的識別率均高于SLSTM-sigmoid模型,并且識別率出現轉折和低于單層LSTM所對應的層數均大于SLSTM-sigmoid,這是由于采用Elu函數在一定程度上緩解了SLSTM的梯度消失現象,模型的每一步迭代均能學習到更深層的特征。綜合以上分析,驗證了本文采用的SLSTM模型在HRRP序列識別任務中具有有效性。

圖7 SLSTM層數與識別率對應關系Fig.7 Corresponding relationship between SLSTM layers and accuracy

2.2.2 檢驗注意力機制的有效性

為了探究注意力機制在Attention-SLSTM中的有效性,從整體上檢驗本文所提方法在HRRP序列識別任務中的性能,本節設置了SVM、RNN、LSTM、SLSTM和Attention-RNN 5種對比實驗,其中后4種深度學習模型的隱藏層節點數均設置為64,批處理大小batch_size設置為32,最大epoch設置為500,SLSTM、Attention-RNN和Attention-SLSTM模型的最大堆疊層數設置為10。各模型在不同堆疊層數設置上的識別率對比表如表2和表3所示。

表2 單層模型識別率比較Table 2 Comparison of single-layer model recognition accuracy

表3 多層模型識別率比較Table 3 Comparison of multi-layer model recognition accuracy

由表2和表3可知,深度學習模型的識別率高于SVM模型,這是由于深度學習模型具有更強的特征提取能力。另外,加入Attention機制的模型的識別率普遍高于對應的無Attention機制的識別率,其中,本文方法在堆疊層數為7時,取得了最高識別率,比無Attention機制的對應模型的最高識別率高2.6%,驗證了注意力機制在HRRP序列識別任務中識別率方面的有效性。

為進一步探究各模型在收斂速度和識別率方面的性能,圖8給出了隨著迭代次數的增加,6種模型識別率的變化曲線。為保持各模型的最佳性能,RNN和LSTM兩種模型的參數設置保持不變,SLSTM-sigmoid堆疊層數為3,SLSTM-Elu堆疊層數為6,Attention-RNN的堆疊層數為5,其中Attention-RNN為基于注意力機制的5層堆疊式RNN網絡模型。

圖8 6種模型識別率迭代曲線Fig.8 Iterative curve of recognition accuracy for 6 models

由圖8可知,隨著迭代次數的增加,幾種模型的識別率均呈現上升趨勢,其中,本文提出的Attention-SLSTM模型識別率最高,并且迭代數為100時最先達到相對穩定的識別率,驗證了本文所提出方法具有收斂速度快的優點。另外,表2中單層模型識別率與本文方法最接近的Attention-RNN模型,在其堆疊層數為最優設置的情況下,識別率依然與本文所提Attention-SLSTM存在差距,驗證了本文方法的有效性。綜上,本文方法具有更快的收斂速度和更好的識別性能。

3 結 論

本文提出的Attention-SLSTM模型將SLSTM引入到HRRP序列識別任務,提高了模型的表達能力;通過替換LSTM模型激活函數,緩解了梯度消失問題;將注意力機制與SLSTM相結合,充分提取了HRRP序列中相鄰樣本之間的時空相關性及其他深層抽象特征,提高了模型的收斂速度和識別性能。在雷達實際工作環境中,HRRP序列往往會出現樣本缺失、噪聲污染等問題,如何針對以上現實問題提出更有效的雷達HRRP序列目標識別方法,將會是下一步研究的重點方向。