基于注意力機制和改進CLDNN的雷達輻射源識別

崔邦彥, 田潤瀾,*, 王東風, 崔 鋼, 石靜苑

(1. 空軍航空大學航空作戰勤務學院, 吉林 長春 130022; 2. 空軍研究院, 北京 100012;3. 空軍航空大學航空基礎學院, 吉林 長春 130022)

0 引 言

早期雷達體制單一,輻射源信號脈內調制類型相對簡單,戰場電磁環境并不復雜。輻射源識別[1]是電子對抗偵察的一項重要內容[2]。傳統的雷達輻射源識別方法將雷達輻射源信號從時域、頻域和時頻域等多角度與雷達數據庫對比及匹配。文獻[3]中提出應用修正的D-S證據融合策略對融合算法進行改進;文獻[4]提出應用模糊推理實現對輻射源的識別。這些方法識別速度和識別準確率較高,但是隨著新體制雷達的出現,這些方法難以應對復雜電磁環境[5]下快速準確地識別雷達輻射源信號。因此,需要找到一種新方法,既能保證更快的識別速度,又能在低信噪比環境下有較高的識別準確率。

深度學習是機器學習領域的一個重要的研究方向,它學習樣本數據的內在規律和表示層次,能較全面地提取樣本數據特征,有效地避免人為提取特征的不完備性。訓練后的深度學習模型有較快的識別速度和識別準確率。近些年,深度學習應用于雷達輻射源識別成為熱點。如文獻[6]采用一維卷積長短時深度神經網絡(one-dimensional convolutional long-short-term-memory deep neural networks,1CLDNN)模型結合center loss損失函數對輻射源信號分類,信號識別準確率較卷積神經網絡(convolutional neural network,CNN)模型有一定提升,但是在低信噪比環境下識別準確率受限;文獻[7]使用深度卷積生成對抗網絡(deep convolutional generative adversarial network,DCGAN)生成時頻圖像,使用VGG16模型對時頻圖像訓練,各類信號在-15 dB信噪比環境下保持75%的準確率,但耗時較長。本課題組成員孫藝聰在文獻[2]中提出改進1CLDNN[8]模型，將1CLDNN網絡中的長短時記憶(long short-term memory, LSTM)層換成雙向門控循環裝置(bi-directional gated recurrent unit, Bi-GRU)，利用Bi-GRU[9]的雙向結構獲取更多的結構信息,該網絡在識別準確率和識別速度上都有提高,但是改進的1CLDNN在處理低截獲概率雷達信號時受限。

針對上述問題,為提高信號識別速度和低信噪比環境下識別的準確率,本文在1CLDNN模型基礎上引入特征融合方法和注意力機制,提出注意力機制特征融合1CLDNN網絡(attention-mechanism feature-fusion 1CLDNN, AF1CLDNN)。

1 1CLDNN模型

1CLDNN模型主要是由一維CNN(one-dimensional CNN,1CNN)、LSTM網絡[10]、深度神經網絡(deep neural network,DNN)組成，如圖1所示。該網絡結構最早于2015年由Sainath等人提出,現在廣泛應用于語音識別領域[11-13]。

圖1 1CLDNN結構

1CLDNN中的子網絡建模能力各有不同,1CNN擅長減小頻域變化,LSTM提供長時記憶,DNN擅長將特征映射到獨立的歐幾里得空間,將這3種網絡序貫連接,在信號識別領域獲得比單獨任意一個網絡更優的性能。

2 特征融合方法和注意力機制

2.1 特征融合方法

本文引入集成學習中的特征融合[14-15]方法,對多種特征在分類器層次上進行融合,使數據中深層特征和淺層特征融合,深層和淺層的特征能夠優勢互補,從而增強特征的描述能力,有效提高神經網絡訓練的準確率。

基于卷積神經網絡的輻射源分類識別算法通常采用特征融合方法提高輻射源的識別精度。假設Yi(i=1,2,…,N)、Yj(j=1,2,…,N)為原始特征和融合特征,N為特征數，特征融合算法可以概括為

Yj=φj[φi(Yi)],i=1,2,…,N;j=1,2,…,N

(1)

式中,φi代表轉換函數;φj代表特征融合函數;特征融合后的結果Yj融合了上層分類器的深層特征和淺層特征,使提取的特征更全面,從而提高輻射源信號分類識別速度和識別準確率。

2.2 注意力機制

近年來,研究人員將人類視覺的選擇性注意力機制[16-19]引入到深度學習中,人類視覺的注意力機制是人類的視覺系統快速地掃描視覺范圍內的全局場景,經過大腦信號處理機制,選擇需要重點關注的目標區域,并對這個區域投入更多的注意力資源,以獲取更多的細節信息,提升網絡識別速度和識別準確率。

注意力機制的本質思想是查詢到一系列鍵-值對的映射，得到一系列鍵-值對之間的相似度,兩者之間相似度越高會分配更多的注意力資源,相似度越少則會分配更少的注意力資源甚至不分配注意力資源。注意力機制本質如圖2所示。

圖2 注意力機制

輻射源脈沖內部特征提取是輻射源信號識別[20-23]的關鍵問題。注意力機制中的詢問(Q)代表輻射源信號,注意力機制中的鍵-值對(Ki-Vi)代表輻射源信號中各元素的權值。將注意力機制引入識別輻射源的神經網絡中可以加快神經網絡的識別速度,并在一定程度上提高神經網絡對輻射源信號識別的準確率。

在計算注意力時主要分為3個步驟。

步驟 1計算輻射源信號和輻射源信號中各元素權值的相似度得到權重。常用的相似度函數有點積、拼接、感知機等。本文采用拼接的方法實現相似度:

f(Q,Ki)=Wα[Q;Ki]

(2)

步驟 2使用Softmax函數對上一步得到的權重歸一化:

(3)

步驟 3最后將權重和加權后的輻射源信號中各元素的權值進行加權求和得到注意力:

(4)

3 AF1CLDNNF模型

3.1 AF1CLDNN結構

AF1CLDNN模型是1CLDNN模型的改進型,AF1CLDNN模型結構如圖3所示。該模型的網絡結構包括一維卷積池化層、LSTM層、注意力層、DNN層和特征融合層。圖3中紅色虛線框中的是1CLDNN模型,1CLDNN模型在處理序列數據問題上具有一定的優勢:其一,可以提取時間序列的淺層特征；其二,能提供長時記憶。1CLDNN模型也具有一定的局限性:① 模型并不能提取序列數據的深層特征;② LSTM模型訓練速度慢,當數據量在一定數量級時,網絡弊端就很明顯;③ 1CLDNN模型對輻射源信號識別的準確率還需要提升。

圖3 AF1CLDNN模型結構

針對上述問題本文在1CLDNN模型的基礎上加入另一個支路DNN[24-27],如圖3中藍色虛線框部分所示,DNN能夠將特征轉換到獨立的歐幾里得特征空間,可以獲得數據深層特征信息。1CLDNN提取的淺層特征和DNN提取的深層特征通過圖3中綠色虛線框內的特征融合層將數據深層特征和淺層特征進行融合,使網絡在分類輸出時可根據更多的特征進行選擇,提高網絡對輻射源識別準確率。1CLDNN中CNN層后加入圖3中紫色虛線框內的注意力層,注意力層將更多的注意力資源分配給需要關注的特征,使得注意力層后的DNN網絡對特征提取的效率更高，提高網絡對輻射源信號的識別速度和識別準確率。

3.2 AF1CLDNN模型參數設置

AF1CLDNN模型的11層網絡中包含3個一維卷積池化層、2個LSTM層以及5個全連接層。所有的一維卷積層具有相同的配置,步長為5,維度由128、64到16;共有3個最大池化層,大小依次為4、4和3,步長為1;共有5個全連接層，輸出結果的維度由16、64、32、8到7;共有2個LSTM層，輸出維度分別為32和16。整體參數結構如圖4所示。

3.3 訓練流程

鑒于AF1CLDNN模型處理具有時間相關性的序列數據效果好,本文采用時域下雷達脈沖的幅度序列數據作為模型輸入數據。

步驟 1輻射源信號輸入。將輻射源數據和標簽輸入到AF1CLDNN模型中。

步驟 2數據預處理。將輻射源數據都截成長度為1 024×1。

步驟 3標簽處理。對不同類別的標簽進行one-hot編碼。

步驟 4建立數據集。將數據按照不同的類別以相同的比例0.28∶0.42∶0.3分為訓練集、驗證集和測試集,并將其隨機打亂。

步驟 5設置EarlyStopping。在訓練達到飽和的時候可以終止訓練。

步驟 6設置datetime。獲取當前時間,方便測量網絡訓練用時。

步驟 7編譯學習過程。損失函數采用categorical_crossentropy;優化器采用Adam;學習率初始設置為1×10-4,學習率隨著訓練集誤差的變化情況動態調整。

步驟 8模型訓練。設置batch_size大小為256;訓練輪數設置為100輪,對模型訓練。

4 實驗及結果分析

本文采用Matlab仿真時域下雷達脈沖的幅度序列數據來驗證本模型性能,用Matlab仿真的數據集包含7種信號,分別是BPSK、Costas、Frank、P1、P2、P3和P4。7種信號的信噪比范圍為-20～10 dB,間隔2 dB。每種信號在每個信噪比的條件下生成2 000個樣本,每個樣本長度為1 024,所以樣本總計224 000個,雷達輻射源信號的調制參數如表1所示。計算機配置:CPU為Intel(R)Core(TM) i7-10 750H,GPU為NVIDIA GeForce RTX 2 070 Super。

圖4 AF1CLDNN整體參數結構圖

表1 信號主要參數

實驗 1為了探究特征融合對網絡分類能力的影響,實驗將是否對網絡進行特征融合作為自變量,分別訓練1CLDNN和特征融合1CLDNN(feature-fusion 1CLDNN, F1CLDNN),用沒有進行特征融合的支路模型的訓練結果與特征融合后的模型訓練結果比較,以測試集的損失和準確率、訓練集的訓練輪數和訓練時間作為評價標準進行實驗。實驗結果如表2所示。

表2 特征融合對網絡分類能力的影響實驗結果

從表2中可看出1CLDNN在沒有進行特征融合前,無論是在損失、準確率、訓練輪數，還是訓練時間都比特征融合后的F1CLDNN效果差;F1CLDNN將1CLDNN提取的淺層特征和DNN提取的深層特征進行融合,訓練準確率高,訓練輪數少,訓練時間少,說明在特征融合層的作用下模型將數據深層特征和淺層特征進行融合,使網絡在分類輸出時可以根據更多的特征進行選擇,提高網絡識別準確率,在訓練過程中收斂速度更快,擬合效果更好。

實驗 2為了探究注意力機制對網絡分類能力的影響,實驗中將注意力機制的有無作為自變量,以測試集的準確率和損失、訓練集訓練輪數和訓練時間作為評價標準進行實驗。實驗結果如表3所示。

表3 注意力機制對網絡分類能力的影響實驗結果

在表3中1CLDNN模型和F1CLDN模型在沒有注意力時比有注意力時訓練時間長、訓練輪數多、準確率低、損失高,可以看出注意力可在一定程度上提升測試準確率和識別速度并降低損失,但是注意力在F1CLDNN中提升準確率的效果并不是很明顯,只能在很小的范圍提升準確率,但是在1CLDNN中應用注意力機制測試后準確率顯著提升。注意力機制在提升訓練速度方面有非常大的優勢,F1CLDNN在同樣的條件下使用注意力機制比不使用注意力機制快了0:12:41,而1CLDNN在同樣的條件下使用注意力機制比不使用注意力機制快了4:35:24。注意力層將更多的注意力資源分配給需要關注的特征到DNN中,提高網絡對輻射源信號的識別速度和識別準確率,因此注意力機制可以在一定程度上提升網絡識別準確率,加快網絡識別速度。

為了觀察注意力都提取信號的哪些特征使得識別速度和識別準確率提高,實驗將注意力層的輸出與原信號對比并將結果繪制成熱力圖。實驗步驟如下:

步驟 1實驗從7類信號中的每一類中選取一個代表這一類信號;

步驟 2將步驟1中提取出的7個樣本長度為1 024的信號從前到后截取樣本長度為100作為可視化信號;

步驟 3將步驟2中截取的信號可視化,并將該信號經過注意力層的權值通過熱力圖繪制,原信號的可視化圖和信號經過注意力層的權值熱力圖繪制到一張圖,如圖5所示。

圖5的標題位置是信號類別。左側縱坐標代表樣本長度為100的信號,信號的輸入從上到下。右側縱坐標代表分配給每個顏色的權值,顏色越深分配的權值越大。橫坐標代表選擇每一類信號中的第幾個信號。黑色代表原始信號,彩色代表分配給該位置信號的權值。

由圖5可以更清楚地對比出注意力層更注重各信號的特征在信號樣本中的位置。圖5中這7類信號經過注意力層后都注重了8,40,56,88這幾個位置,這幾個位置比較隨機且分散,并不能通過時頻分析[28-30]后的結果解釋,但是可以看到這幾個位置都在波峰處,可以認為這幾個位置是在其他的歐幾里得空間提取出來的特征,而可以分配更多注意力資源在這幾個位置對信號分類識別,分配更少注意力資源甚至忽略在一些無關位置的注意力資源,可以有效地提高網絡識別速度。

圖5 7類信號注意力層權值熱力圖

實驗 3在實驗1和實驗2的基礎上為了探究將注意力機制和特征融合方法結合是否能進一步提升網絡對輻射源信號識別速度和識別準確率,以及在低信噪比下對各信號的識別情況。本文在實驗3中設置3個小實驗,第1個小實驗用AF1CLDNN、F1CLDNN、注意力機制特征融合1CLDNN(attention mechanism 1CLDNN,A1CLDN-N)、1CLDNN和深度學習中的經典模型以測試集的準確率和損失、訓練時間和訓練輪數作為評價標準比較,實驗結果如表4所示。

表4 多種模型結構實驗結果

由表4可知在1CLDNN的基礎上既引入注意力機制又引入特征融合方法比只用其中一種的識別速度快,識別準確率更高。

AF1CLDNN模型和一些經典深度學習模型比較,無論是在識別速度還是在識別準確率上都有一定的提升。

第2個小實驗是AF1CLDNN模型在低信噪比環境下是否有較好的識別準確率,實驗用AF1CLDNN、F1CLDNN、A1CLDNN、1CLDNN和深度學習中的經典模型對比。用不同信噪比的Costas信號測試,測試結果如圖6所示。

圖6 8種模型的不同信噪比識別準確率圖

由圖6可知AF1CLDNN模型比其他經典深度學習模型在低信噪比的環境下識別準確率要高,AF1CLDNN模型在-20 dB的情況依然有69%的準確率,在-12 dB依然有接近100%的準確率,而其他經典深度學習模型在-20 dB時最高有60%左右的準確率。因此,AF1CLDNN在低信噪比的情況下依然有較高的識別準確率。

第3個小實驗探究AF1CLDNN模型在不同信噪比下對信號分類的能力,利用訓練保存的模型對這7類信號分類(這7類信號使用測試集數據),這7類信號在不同信噪比環境下識別結果如圖7所示。

由圖7可知信號在信噪比大于等于-10 dB時基本有100%的準確率,在-12 dB時除了BPSK信號其他信號均有接近100%的準確率,而BPSK信號依然有97%以上的準確率,即使在-20 dB時除了BPSK信號有58%的準確率,其他信號均有高于69%的準確率。

圖7 不同信噪比下AF1CLDNN對7類信號的識別準確率

BPSK信號受信噪比影響最大,在低信噪比的環境下難以和其他6類信號區分,其他6類信號識別結果的準確率相對均衡,可以認為AF1CLDNN模型對這7類信號識別的結果是有效的。

7類信號的混淆矩陣如圖8所示。圖8中顏色越深代表輻射源信號正確識別率越高,可以很清晰地看到對角線上的顏色深。圖8中BPSK信號被誤認為Costas、Frank、P1、P2、P3和P4的錯誤率基本為1%,因此結合圖7可知,BPSK在低信噪比的條件下和其他6類信號接近,該信號較難區分。

圖8 7類信號混淆矩陣圖

5 結 論

本文在1CLDNN模型的基礎上,提出了AF1CLDNN模型,并對7種常見的輻射源信號進行識別。實驗結果表明,本文提出的AF1CLDNN具有較高的識別速度和識別準確率,并且在復雜電磁環境[31-34]中信噪比較低的情況下能夠有效地識別這7種信號,與其他常見處理一維數據模型對比,本文提出的模型具有訓練時間復雜度低、收斂速度快和識別精度高的特點。