基于改進CLDNN的輻射源信號識別

孫藝聰, 田潤瀾, 王曉峰, 董會旭, 戴 普

(1. 空軍航空大學航空作戰勤務學院, 吉林 長春 130022;2. 空軍實驗訓練基地二區檢驗所, 陜西 咸陽 713800)

0 引 言

輻射源信號識別[1-3]是電子對抗偵察中的一項重要的內容。早期電磁環境相對簡單,雷達功能較為單一,信號調制類型相對較少,傳統的識別方法大多從時域、頻域等多種域人工提取特征,如文獻[4]提出時域自相關方法,對線性調頻信號進行了識別。文獻[5]提出基于矩特征的識別方法,對5類常見信號進行了識別。這些方法能夠較為準確地識別不同類型的信號,識別速度相對較快,但是選擇哪種特征依賴于人的專業知識,而且選取的特征大多數無法適應如今復雜的信號類型,尤其是在雷達體制不斷創新、雷達信號類型不斷增加的背景下,這類方法更加難以有效識別不同信號的區別。因此,找到一種能自主學習特征的方法對提高雷達信號識別能力具有重要的意義。

深度學習(deep learning,DL)是一種對數據進行表征學習的方法,可以自主提取特征,有效避免了人為設置特征的不完備性。許多學者也將這一方法引入到電子對抗領域中來。文獻[6]利用深度學習中的AlexNet網絡模型對信號的時頻圖進行分類識別。文獻[7]采用埃爾曼神經網絡模型結合時頻圖像進行識別。文獻[8]提出了一種基于積分旋轉因子的徑向積分方法,在時頻圖像的基礎上對信號進行檢測。上述基于深度學習的輻射源信號識別方法主要是對信號轉化的二維圖像的識別,這類方法需要人為提取特征的過程較少,可以有效避免人為因素的影響,在識別精度上有所提升,但是將信號進行二維變換需要大量的計算,而且對于圖像的識別往往需要復雜的預處理,識別速度較慢,不適合樣本量較大的情況。此外,在信噪比(signal to noise ratio, SNR)較低的情況下,基于圖像識別的方法受噪聲的影響較大,導致識別準確率不高,如文獻[7]中在SNR低于-4 dB時，多數類型的信號識別準確率大部分都低于80%,不能夠較好地識別各類信號。另外一些學者考慮將輻射源信號直接(或通過簡單預處理后)輸入到神經網絡中進行學習,如文獻[9]利用長短時記憶(long short-term memory,LSTM)網絡對輻射源信號進行分類。文獻[10]利用雙向LSTM網絡和雙向門控循環單元(bidirectional gated recurrent unit, Bi-GRU)網絡直接對標準化后的原始信號進行特征提取和分類識別,能夠有效減少計算量,但是這些網絡結構本身存在著訓練難度較大的問題。

針對以上問題,本文引入語音信號處理中的卷積長短時深度神經網絡(convolutional long short-term deep neural network,CLDNN)[11]模型對輻射源信號進行識別。該模型的輸入是原始的時間序列,不需要復雜的變換,解決了計算量過大的問題,能夠提高計算精度,可以對樣本量較大的數據集進行處理。網絡能夠自主學習和提取信號特征,避免了人為選擇特征的不完備性,使得網絡模型能夠適應更多類型的信號,實現方式簡單,不需要太多的專業知識。此外,CLDNN模型結構中設置的特征提取結構能夠有效提取輸入信號的特征,降低網絡的訓練難度,可以提高網絡的識別精度。本文在CLDNN模型的基礎上,將其中的LSTM網絡替換為雙向門控循環網絡,進一步提升CLDNN模型的識別能力,實現網絡在精度和效率上的平衡。

1 CLDNN模型

CLDNN模型主要由卷積神經網絡(convolutional neural network,CNN)、LSTM網絡和深度神經網絡(deep neural network,DNN)組成。該網絡結構最早于2015年由Sainath等人提出,現在廣泛應用在語音識別領域當中[12-14]。CLDNN模型中包含的3種網絡各自具有不同的優勢:CNN能夠提取抽象特征,有效地減少頻率分量和無效數據;LSTM擅長處理時間相關的問題,可以對時間序列進行建模;DNN可以將特征通過非線性映射到更加容易分離的特征空間。將這3種網絡按CNN-LSTM-DNN的順序組合在一起,首先通過CNN提取時間維度上高質量的隱藏信息,然后將這些信息傳遞給LSTM網絡進行時序建模,最后將LSTM網絡的輸出傳遞給DNN,將特征空間映射到容易分類的特征空間內。文獻[11]已經證明了將3種網絡融合起來可以獲得比單個網絡更好的性能。CLDNN模型的結構如圖1所示。

圖1 CLDNN模型結構

2 GRU和Bi-GRU

2.1 GRU

GRU[15]是循環神經網絡(recurrent neural network,RNN)的一個變體。RNN存在短期記憶問題,不能夠解決“長距離依賴”問題。于是后來提出了LSTM網絡和GRU這兩種模型,這兩種模型通過設置不同的門來控制信息的流通,解決長期記憶的問題。LSTM網絡和GRU的性能相差不多,但是GRU在結構上更加簡單,能夠減少計算量,提高訓練效率[16-17]。

GRU的內部結構如圖2所示。GRU有兩個輸入,分別為上一時刻的輸出狀態ht-1和此時刻的序列值xt,輸出為本時刻的狀態ht。相比于LSTM網絡單元內部結構,GRU內部只存在兩種門,重置門r和更新門z。重置門控制忽略上時刻狀態的程度,使網絡能夠丟掉無關的信息;更新門可以控制上時刻狀態傳遞到這一時刻的程度,幫助網絡記憶長時的信息。

圖2 GRU內部結構

GRU的計算公式[18]為

(1)

式中,σ為激活函數;[·]代表向量連接;W為需要訓練的權值;⊙為Hadamard積。

2.2 Bi-GRU

Bi-GRU是一種雙向的網絡模型[19-21]。圖3是Bi-GRU的網絡模型圖,主要由4個部分組成:輸入層、輸出層和兩個GRU層。相比于傳統RNN類網絡模型,Bi-GRU將隱含層增加為兩層,由兩個單向的、方向相反的GRU組成,序列信息按照正向和反向各自輸入到正向和反向的GRU中,網絡的輸出由這兩個GRU的輸出決定,可以采用相加、平均值或連接等方式進行處理,這樣模型就可以利用正向和反向兩個方向的信息。

圖3 Bi-GRU網絡模型

3 改進CLDNN模型及訓練流程

3.1 改進的CLDNN模型

CLDNN模型最初主要用于語音信號的識別,由于其內部采用LSTM網絡模塊對包含時間信息的序列進行建模,模型只用到了過去的信息,沒有考慮到未來的信息。然而,實際處理的過程中往往需要整條序列上的信息。CLDNN模型中采用的LSTM網絡無法編碼從后往前的信息,所以無法利用數據的未來信息。另外,LSTM網絡結構相對復雜,內部參數較多。如果輸入數據時間跨度較大,或者網絡深度很深時,計算量會很大,訓練效率相對于傳統RNN會低很多。

針對上述問題,結合輻射源信號識別問題的特點,本文在CLDNN模型的基礎上,提出改進的CLDNN模型,將CLDNN模型中的LSTM網絡改為Bi-GRU,利用Bi-GRU的雙向結構來提取更多結構信息。改進的CLDNN模型結構如圖4所示。原始信號經過簡單的歸一化處理后,首先經過3層一維CNN,通過16個長度為8的卷積核對原始信號進行卷積處理,同時在每個CNN后接池化層,組成“卷積-池化”結構,這些結構作為網絡的特征提取器,也是對序列的降采樣,可以對輸入的信號序列進行特征提取,也可以降低序列的維度,為后續網絡提取高質量的特征信息,減少后續網絡的計算量。Bi-GRU對CNN層的輸出進行時間建模,通過接收CNN層提取的時間相關信號特征,利用雙向結構提取前向和后向的信息,并將這兩個方向的信息輸出的平均值作為輸出,可以去掉數據的時間相關性。最后在Bi-GRU層后加3個DNN層,作為網絡最終的分類器,將Bi-GRU中提取到的特征映射到樣本標記空間內,本文最終通過softmax函數將特征映射到代表8類信號的離散空間里。

圖4 改進的CLDNN模型結構圖

3.2 訓練流程

不同于傳統基于圖像識別的輻射源信號識別模型,本文提出模型的輸入直接是時間序列,不存在對信號的變換。模型訓練流程如下。

步驟 1訓練樣本處理。對原始樣本集中的信號樣本進行min-max歸一化處理,將數據的值限定在[0,1]內,使得模型在尋找最優解時能夠更加平緩,可以提升模型的收斂速度。轉換函數為

(2)

步驟 2添加標簽。對不同類型數據的標簽進行one-hot編碼。

步驟 3建立訓練集和測試集。將訓練樣本隨機打亂,在打亂后的數據集中選擇一定比例樣本構成訓練集和測試集。

步驟 4訓練網絡。將訓練樣本輸入到構建的改進網絡模型中。損失函數采用交叉熵損失函數,優化器采用Adam。設置初始學習率為0.001,最大訓練輪數為100輪。

為了避免出現陷入局部最小值或者過擬合的現象,網絡訓練過程中還引入了學習率動態調整機制和早停機制。具體描述如下。

(1) 學習率動態調整機制。根據訓練的輪數而逐漸減小學習速率,當驗證集誤差不再減小且再經過3輪的訓練仍得不到改善的情況下,學習率將會減少一半。

(2) 早停機制。在訓練過程中,隨著模型能力的提升,驗證集的誤差會先減小后增大,這是由于出現了過擬合的現象,為了避免出現這樣的現象,本文在訓練中采用了提前終止算法,當驗證集誤差不再減小且再經過10輪的訓練仍得不到改善時提前終止訓練,否則模型將經過100輪的訓練。

4 實驗及結果分析

為了驗證本文模型的性能,首先采用Matlab仿真不同調制類型的信號,得到原始數據集。本文采用的原始數據集包括8種信號,分別是二進制相移鍵控(binary phase shift keying, BPSK)、Costas、調頻連續波(frequecy modulated continuous wave, FMCW)、Frank、P1、P2、P3和P4。載頻范圍為1～1.2 kHz之間隨機取值,除Costas外采樣頻率均為7 kHz。具體參數如表1所示。SNR范圍為-20～10 dB,間隔為2 dB。每類信號在每種SNR情況下產生2 000個樣本,共計256 000個,每個樣本長度為200。隨機選取80%的樣本作為訓練集,20%的樣本作為測試集。計算機配置:CPU為Intel(R) i7-8750H,GPU為NVIDIA GeForce GTX 1060。

表1 信號主要參數

實驗 1改進模型中3類網絡的層數對于網絡的能力有著很大的影響,為了探究不同網絡結構對于訓練結果的影響,實驗中將3種網絡的層數作為變量,以驗證集損失作為評價標準進行實驗,結果如表2所示。

表2 網絡結構實驗結果

從表2可以看出,第1組損失最低,相對來說網絡識別能力更好;第1組和第2組的實驗結果說明通過增加Bi-GRU層的數量不能夠提高網絡的識別能力,一般情況下1層就能夠較好地完成建模;第1組、第3組和第4組的實驗結果說明卷積層不能太少,也不能太多,太少特征提取能力不夠,而太多網絡過于復雜;第1組、第5組和第6組的實驗結果說明DNN的層數也應適中,這樣才能有效地映射到可分離的特征空間。

實驗 2為了探究改進模型的能力,在不同SNR條件下,利用訓練得到的模型對8類信號進行識別。8類信號在不同SNR條件下的識別準確率如圖5所示。

圖5 8類信號識別準確率

從圖5中可以看出,在SNR高于-6 dB的情況下,8類信號的識別準確率基本能達到100 %,在SNR高于-10 dB的情況下識別準確率也能夠達到70%以上,基本滿足低SNR條件下的識別要求,證明了本文提出模型在低SNR情況下對輻射源信號識別的有效性。隨著SNR的不斷降低,識別準確率急劇下降,到-20 dB的時候識別準確率最高能達到40 %,最低的情況下也能達到20%,其中BPSK和Costas受SNR影響最大,P1碼受影響相對較小。其他5類信號的識別準確率相差不大,識別結果較為均衡。圖6是FMCW信號在SNR為10 dB和-10 dB條件下原始信號和改進的CLDNN模型第1層CNN的輸出信號頻譜圖。

圖6 CNN層輸出序列頻譜圖

從圖6中可以看出,CNN輸出信號的頻譜圖與原始信號的頻譜圖形狀相似,說明CNN在學習過程中在試圖重構原始信號,但相比于原始信號有一定區別;圖6左半部分是在10 dB條件下的頻譜,從圖6中可以很清楚地看到FMCW頻譜特征,而圖6右半部分在-10 dB情況下頻譜卻顯得有些雜亂,信號的頻譜特征不明顯,說明噪聲基本上已經覆蓋了信號,導致CNN在重構信號的過程中提取的大多數是噪聲信息,使得改進模型在后續的處理中無法提取有效的特征而造成混亂,導致在SNR較低的情況下識別準確率急劇下降。

8類信號整體的混淆矩陣如圖7所示。從圖中可以看出,這8類信號的混淆矩陣整體上呈現出一個比較清晰的對角線,只有少部分樣本被錯誤分類。8類信號在SNR為-20～10 dB之間的識別效果較好,識別準確率均能達到80%以上,基本滿足識別的需求。從圖7中也可以看出BPSK和Costas受噪聲影響較大,相對于其他6類信號識別準確率更低。

圖7 8類信號混淆矩陣

實驗 3為了進一步研究改進模型的性能,這里將本文提出的改進模型與其他模型進行對比,選擇文獻[9]和文獻[10]提出的LSTM、Bi-LSTM和Bi-GRU3種模型進行對比,另外也將傳統的RNN模型和未改進的CLDNN模型以及識別魏格納時頻圖像的AlexNet模型作為對照,共7種模型。由于基于圖像識別網絡需要生成圖像特征,而本文采用數據集過大,所以本文在原數據集中每類信號僅選取1 000條數據,共計8 000條產生時頻圖像,用來構建訓練AlexNet網絡的數據集,其他網絡訓練采用的數據集為本文所用的原始數據集。7種模型在不同SNR條件下的識別準確率如圖8所示,7種模型訓練用時和網絡收斂訓練的輪數如表3所示。

圖8 7種模型識別準確率

表3 7種模型訓練情況

結合圖8和表3可以看出,相對于其他6種模型,本文提出的改進模型精度最高,訓練用時較短,訓練輪數最少,說明改進模型在訓練過程中收斂速度較快,訓練難度相對較小;RNN模型訓練用時最短,但是識別精度也是最低的,這是由于RNN結構簡單,訓練相對容易,但是不能夠記憶長期信息,所以精度不高;LSTM網絡、Bi-LSTM和Bi-GRU識別精度與本文提出的改進模型差距不大,但是訓練所用時間卻是本文模型的3～5倍,且訓練輪數幾乎都達到了最大訓練的輪數,這是由于通過3層CNN的特征提取,不僅將特征維度降為原始維度的八分之一,還降低了Bi-GRU模塊所需處理的序列長度,此外網絡也提取到了較高質量的信號特征,使得本文網絡訓練的難度降低了不少;CLDNN模型訓練總用時與改進模型的總用時相差不大,每輪訓練時間更短,這是由于CLDNN模型比本文模型結構簡單,但是識別精度比本文模型低約5%,訓練時長相對于本文模型優勢也不是很大;AlexNet網絡精度最低,若使用原始數據集進行訓練,網絡的識別性能會有所提高,但是網絡訓練所需要的時間也會成倍的增加,而且圖像數據集的生成也需要大量的時間,這樣相較于其他6種模型所用的時間就會多出很多,所以基于圖像識別的模型不適合于數據集樣本數量大的情況。

綜合上述分析可以看出,本文模型相對于其他6種模型具有訓練精度高、訓練難度小和收斂速度快的特點,相比于基于圖像識別的方法在識別速度和數據處理速度上都有很大的優勢。

5 結 論

本文在語音處理領域常用的CLDNN模型的基礎上,提出了改進的CLDNN模型,將模型中的LSTM網絡改為Bi-GRU網絡,并對8種常見的輻射源信號進行識別。實驗結果表明,本文模型能夠有效地識別輻射源信號,尤其是在SNR較低的情況下能夠有效地識別這8種信號;在與其他常見模型的對比中,本文模型也具有訓練難度小、收斂速度快和識別精度高的特點。