基于RE-GAN的調制信號開集識別算法

秦博偉, 蔣 磊, 許 華, 牛偉宇

(空軍工程大學信息與導航學院, 陜西 西安 710077)

0 引 言

信號的調制方式是區分不同信號類型的一個重要特征。非協作信號接收系統中,調制方式識別在信號解調、頻譜檢測和參數估計等方面起著至關重要的作用[1]。

目前,調制識別方法可區分為兩大類:傳統的調制識別方法和基于深度學習的自動調制識別算法。傳統的調制識別方法又分為基于似然比決策理論的識別方法和基于特征提取的統計模式識別方法。前者根據信號的統計特性,依據代價函數最小化原則,通過理論分析與推導得到檢驗統計量,再將其與一個合適的門限進行比較,形成判決準則,最后由判決準則確定輸出結果,完成通信信號調制方式的分類識別,判決準則一般有最大似然比[2-3]、廣義平均似然比[4]等。后者主要分為特征提取和模式識別兩個部分,目前有基于高階累積量[5]、基于小波變換[6]、基于時頻分析[7]和基于譜相關理論[8]等特征的識別方法。傳統的調制識別方法需要根據信號特點人工設置門限或者分類器,受人為不確定因素影響較大。

文獻[9]提出一種不需要人工設計特征和判決門限的自動調制識別算法,該算法將深度學習中的卷積神經網絡(convolutional neural networks, CNN)應用到調制識別領域,首次實現調制信號端到端的識別模型。在這之后,大量的神經網絡模型被應用于自動調制識別領域[10-12]。文獻[13]結合多種網絡,利用信號的多維度特征,在信噪比(signal to noise ratio, SNR)為4 dB時對11種調制方式的識別準確率可以達到90%。文獻[14-15]則利用生成對抗網絡(generative adversarial network, GAN)[16]初步實現了少量樣本條件下的信號調制識別盡管在調制識別領域已經取得了一定的成果,但面對日益復雜的電磁環境和層出不窮的新式調制樣式,閉集識別的模式已經逐漸不再適用,如何在開放式環境下準確判斷出新式調制樣式已經成為當下研究的熱點。文獻[17]首次提出openmax開集識別算法,提出一種“距離矢量”作為區分各個類別之間的標準,在MINST公開數據集上測試可以達到92%的識別準確率。文獻[18]則利用GAN生成未知類別的虛假數據供網絡進行特征學習,較原始的openmax算法性能提升3%～5%。

針對調制信號開集識別的問題[1],本文從數據重建和極值理論(extreme value theory, EVT)的角度出發,設計了一種數據重建和EVT的GAN (reconstructed data and EVT GAN, RE-GAN)模型,通過建立信號間的激活矢量集來區分不同調制信號。首先通過重建網絡(reconstructed network, R)和判別網絡(discriminant network,D)建立不同類別信號的激活矢量集,而后將激活矢量擬合到特定的極值分布中并選擇合適的距離矢量度量已知調制方式和未知調制方式與激活矢量中心的距離,最后依據EVT判別出已知和未知調制方式的信號。仿真實驗證明,本文所提算法較以往的開集識別算法性能提升3%～7%,網絡模型更具輕量化。

1 RE-GAN

1.1 網絡模型設計

RE-GAN的網絡模型設計參考GAN模型架構,R和D進行交替對抗訓練。R對真實數據進行壓縮重建,將高維信息壓縮為低維表示,輸出壓縮向量(真實數據)和重建數據(虛假數據)。D則需要準確地區分數據的類別屬性和真假屬性。通過D的輸出反饋到前置網絡實現網絡的訓練。

RE-GAN的網絡結構分為訓練階段和測試階段,模型架構如圖1和圖2所示。

圖1 RE-GAN訓練網絡Fig.1 Train network of RE-GAN

圖2 RE-GAN測試網絡Fig.2 Test network of RE-GAN

其中,X為訓練數據,Y代表訓練數據的類別標簽,σ代表噪聲,τ代表訓練階段根據EVT求出的閾值。X′為測試數據,Y′代表測試數據的類別標簽,Reri(i=1,2,3,…,k)代表D倒數第二層輸出的每一類數據的平均激活矢量(mean activation vector, MAV),ypred代表已知類別的預測標簽,yuk代表未知類別。

1.2 數據預處理

數據預處理模塊主要針對數據的幅值信息和相位信息進行歸一化,假設原始數據為x,歸一化后的數據為x′,則

(1)

式中:A為幅值;φ為相位;I和Q分別表示解調后的同相數據和正交數據;min和max分別為x所在列的最小值和最大值。對數據進行歸一化的目的是為了消除數據之間的量綱影響,避免數值相差太大導致神經網絡訓練困難,方便后續網絡進行計算。

2 基于RE-GAN的開集識別算法

2.1 開集識別理論

閉集識別問題即測試和訓練的每個類別都有具體的標簽,不包含未知的類別; 如著名的MNIST和MNIST_FASHION數據集,里面包含確定的類別。以MNIST數據集為例,訓練時包含0～9的數字類別,測試時也是0～9的類別,并不包含如字母A～Z等的未知類別,閉集識別問題即區分這10個類別。而開集識別問題訓練階段保持不變,測試時不僅僅包含0～9的數字類別,還包含其他如A～Z等的未知類別,但是這些未知的類別并沒有標簽,分類器無法知道這些未知類別里面圖像的具體類別,如是否是A,所有未知的圖像共同構成了一個未知類別,開集分類問題即區分這10個類別且拒絕其他未知類別。開集識別與閉集識別的決策邊界如圖3所示。從圖3中可以看到,閉集識別的決策邊界一定會把未知類別判定為已知類別中確定的一類,而開集識別的決策邊界則會將所有未知類別都劃分為單獨的一類。

圖3 開集識別和閉集識別的決策邊界Fig.3 Decision boundary of open-set recognition and closed-set recognition

假設有N類數據,K={C1,C2,…,CN},輸入數據為x,Softmax函數定義為

(2)

(3)

式中:wi表示p(Ci|x,x∈K),第N+1類表示未知類別。具體的訓練過程[19]為:在訓練階段,首先訓練一個Softmax函數的神經網絡,然后依據最近類平均理論[20],在倒數第二層輸出計算各類樣本輸出矢量的均值并得到各類樣本的MAV,而后選定一個距離度量函數度量訓練樣本與對應類別MAV之間的距離并擬合到Weibull分布,Weibull分布是連續性的概率分布函數,對于服從統一分布的不同樣本數據X,可以通過擬合Weibull 分布來建立不同樣本間的模型,方便后續利用EVT進行概率計算),最后保存MAV集合和Weibull分布模型。在測試階段,首先計算各個類別的測試樣本在網絡倒數第二層的輸出矢量與各個類別MAV的距離,然后依據Weibull 分布擬合測試樣本并更新MAV,最終根據EVT計算得出概率最大值為數據所對應的類別標簽。

選擇平均識別準確率作為開集識別模型的評價標準,具體公式如下:

(4)

式中:fkau和fukau分別代表已知類別和未知類別的分類準確率;m和n分別代表已知類和未知類的樣本總數;p(xi)和yi分別代表數據的預測標簽和真實標簽;H(·)代表一個邏輯函數,當p(xi)與yi相同時取1,反之為0;對fkau和fukau取加權平均得到開集識別模型的分類準確率fau。

2.2 損失函數及網絡參數設置

RE-GAN的損失函數分為兩部分,第一部分為R的損失函數,第二部分為D的損失函數。具體表達式為

(5)

(6)

式中:E代表期望;R1和D1分別為R和D映射的可微函數;x和x1分別代表加噪前后的原始數據。依據GAN的目標優化函數準則[21-22],對目標函數求一個極大極小值,最終網絡會收斂到一個納什均衡點[16],即R的重建誤差達到最小,D準確將數據進行分類。

圖4為RE-GAN的具體網絡參數設置。

圖4 R和D的網絡參數設置Fig.4 Network parameter settings of R and D

R和D的網絡結構選擇與其他GAN結構不同,主要體現在3個方面。

(1) R選用自編碼器對數據進行壓縮重建,一方面降低了運算量并實現了數據的稀疏表達,另一方面壓縮后的特征直接被利用于D,實現了特征的自動選擇。

(2) D添加全局平均池化層,這樣做的目的在于保留數據的空間結構信息,另外相比較于Flatten連接操作,網絡參數明顯降低,提高了網絡的泛化性并防止網絡過擬合。

(3) D卷積核大小均為卷積步幅為1的非對稱卷積核,不僅可以最大限度地保留數據的原始信息,還可以分層次提取數據特征。

2.3 算法具體實現

步驟 1設置模型初始化參數。

步驟 2將標簽數據x={(x1,y1),(x2,y2),…,(xm,ym)}送入R中執行梯度下降訓練,輸出重建數據x′={(x1,y1)′,(x2,y2)′,…,(xn,yn)′}和壓縮向量l=[l1,l2,…,lk]。

步驟 3將l和x′一起送入到D中執行梯度下降,計算D倒數第二層每一類數據對應的MAV,選擇余弦相似度度量函數度量訓練數據與MAV之間的距離并擬合到Weibull分布模型中,并將最大的度量值記為閾值τ。最后輸出數據的預測標簽和τ。

步驟 4設置終止條件并保存MAV、Weibull分布模型、R和D的網絡模型和權重。

步驟 5導入保存好的D模型和權重,將n個測試數據送入到D中進行測試,計算測試數據的MAV,更新倒數第二層的每一類數據的MAV,并將測試數據和MAV之間的度量距離擬合到Weibull分布并更新Weibull分布模型,記錄每一類數據的度量值。

步驟 6將步驟5中輸出的每一類度量值與步驟3中的τ值作對比,若最小值大于τ,則被劃分為未知類別,否則劃分為已知類別。被劃分為已知類別的數據按照Openmax函數計算得到每一類數據的標簽屬性。

步驟 7輸出最終分類結果。

3 實驗仿真與結果分析

3.1 仿真環境及數據集

本文的網絡模型訓練均使用python的Keras環境,配置為Nvidia GTX 1650 GPU,借助Tensorflow后端進行訓練,調制信號數據集采用Deepsig公開調制識別數據集[15]RML 2016.10b,本文采用的數據集信息如表1所示。

表1 調制信號數據集Table 1 Modulation signal dataset

為了適應開集識別的應用場景,對原始數據集信號進行切分處理,SNR范圍-4～18 dB,選用除寬帶調頻(wide band frequency modulation, WBFM)和正交振幅調制(quadrature amplitude modulation, QAM)64 (QAM64)以外的8種信號作為模型訓練時的數據,選用全部10種信號作為模型測試時的數據。

3.2 實驗1:網絡初始參數設置

為了方便模型進行卷積計算,將數據維度由(2,128)增加為(2,128,1),訓練樣本數量為115 200,測試樣本數量為36 000。模型訓練的epoch設置為20 000;batch-size設置為64;梯度優化算法選擇Adam,學習率設為0.000 4,第一衰減率設為0.5;Dropout設置為0.1;隱藏層激活函數選擇Leakyrelu激活函數,參數設置為0.3。網絡采用交替迭代方式訓練,先訓練D,再訓練R。

RE-GAN的損失函數曲線如圖5和圖6所示。

圖5 D損失函數曲線Fig.5 D loss function curve

圖6 R損失函數曲線Fig.6 R loss function curve

觀察圖5和圖6損失函數曲線變化趨勢,得出 R 和 D 的訓練比較平穩,網絡訓練沒有發生過擬合現象。

由于開集識別不僅需要分離出已知調制方式的信號,還需要拒絕未知類別的調制信號。因此,本文將不同調制方式經過網絡輸出后的MAV中心點用坐標畫出來, 如圖7所示。可以看出,各類別之間的MAV中心相差比較明顯,側面證明RE-GAN可以很好地分離出未知調制方式的信號。

圖7 MAV中心點位置Fig.7 Location center of the MAV

為了驗證所提算法的性能,本文還通過大量實驗對比了不同激活函數、不同距離度量函數、有無全局平均池化層對模型性能的影響,具體結果如圖8～圖10所示(分類準確率為所有測試樣本的平均分類準確率)。

圖8 不同激活函數Fig.8 Different activation functions

圖9 不同距離度量函數Fig.9 Different distance measure functions

圖10 有無全局平均池化層Fig.10 Global average pooling layer or not

觀察圖8可以得出Leakyrelu激活函數作用下的網絡性能略高于ReLU激活函數。分析圖9的結果可以得出,選用余弦相似度比選用歐式距離網絡訓練效果更好。對比圖10的兩條曲線,可以得出網絡在添加全局平均池化層之后,穩定性更好,識別準確率略有提高。

3.3 實驗2:調制信號分類識別

按照實驗1的網絡參數初始值設定和第2.3節的具體算法步驟,網絡測試后的混淆矩陣如圖11～圖13所示(這里只對比閉集識別的混淆矩陣)。

圖11 混淆矩陣結果(SNR=0 dB)Fig.11 Confusion matrix result (SNR=0 dB)

圖12 混淆矩陣結果(SNR=10 dB)Fig.12 Confusion matrix result (SNR=10 dB)

圖13 混淆矩陣結果(SNR=18 dB)Fig.13 Confusion matrix result (SNR=18 dB)

對比圖11～圖13中3張混淆矩陣的結果圖可以看出,RE-GAN模型在SNR大于0 dB時對已知信號的識別準確率可以達到93%,網絡可以準確分離出已知調制樣式的信號。

為了更好地說明本文所提算法的優勢,分別對比了其他開集識別算法,具體實驗結果如圖14和表2所示。其中,不同算法包括了生成式對抗網絡的開集識別(generative odversarial networks-openmax, G-Openmax)和開放式長尾識別(open-large-scale long-tailed recognition, OLTR)。分析圖14和表2的實驗結果可以得出,單獨使用Softmax分類算法不能實現信號的開集識別,相比較于單獨使用Softmax分類算法,RE-GAN的網絡參數略有增加,閉集識別性能基本沒有變化,說明本文所提算法可以有效實現調制信號的開集識別和閉集識別。相比較于另外3種開集識別算法,RE-GAN的網絡參數和乘加次數均有所減少,識別準確率提升3%～7%。綜上實驗結果,基于RE-GAN的調制信號開集識別算法網絡模型更具輕量化、訓練時間更短、識別性能有所提高。

圖14 不同算法分類準確率對比Fig.14 Comparison with classification accuracy of different algorithms

表2 不同算法結果對比Table 2 Comparison with results of different algorithms

4 結束語

針對調制信號開集識別問題,本文提出了一種基于RE-GAN的調制信號開集識別算法,該算法區別于傳統意義上的閉集識別決策邊界,在網絡輸出層引入激活矢量,通過距離度量和EVT實現對未知調制方式信號的識別。仿真實驗結果證明,激活矢量一定程度上可以反映不同類別信號間的差異性;相比較于近年來提出的其他開集識別算法,本文所提算法的網絡復雜性低、網絡模型更具輕量化,可以更好地對調制信號進行稀疏表達和特征學習,驗證了本文算法的有效性。下一步將針對未知類別的信號展開研究,實現對未知類別信號的精準識別。