基于卷積神經網絡的多進制相位調制信號識別算法

吳佩軍 侯 進* 呂志良 劉雨靈 徐 茂 張笑語 陳 曾

1(西南交通大學信息科學與技術學院 四川 成都 611756)2(成都華日通訊技術有限公司 四川 成都 610045)

0 引 言

多進制數字相位調制技術是現代通信系統中常用的數字調制技術之一。如何有效地識別出多進制數字相位調制(Multiple Phase Shift Keying,MPSK)信號中的BPSK、QPSK和8PSK信號一直是調制識別領域內人們關注的一個熱點和難點問題。

在傳統的調制信號識別領域，主要采用基于統計和基于決策的兩大類方法進行識別。然而傳統方法具有求解參數多、計算公式復雜等缺點。

近年來，大量的機器學習算法，如期望最大值算法[1]、反向傳播人工神經網絡[2]、k鄰近算法[3]以及支持向量機[4]等算法被逐漸應用于調制信號識別領域內，并取得了一定的成效。

卷積神經網絡(Con1volution Neural Network,CNN)作為機器學習算法的一大重要分支，近年來在圖像識別領域取得了許多重要突破。深層卷積神經網絡更容易提取到數據的抽象特征，獲得不同數據類別間的隱式表達，有利于捕捉圖像數據中的關鍵信息[5]。Krizhevshky等[6]提出了AlexNet模型，它指出隨著網絡層數的加深，可以學習圖像中的復雜高維特征，提升分類準確率。此外，AlexNet使用Relu作為激活函數，降低了參數計算量；并且使用了dropout技術在訓練時剔除某些神經元，避免模型的過擬合。但AlexNet在淺層時使用如9×9、11×11的大卷積核提取特征，具有運算開銷大的缺點。VGG[8]通過使用多個3×3的卷積核代替AlexNet的大卷積核，減少了運算參數，改進了AlexNet運算開銷大的缺點。與此同時，Inception V1[7]通過提出一種分解-變換-聚合的結構：使用1×1、3×3和5×5的卷積核并行合并，并在合并后接1×1卷積核以減少特征數量。隨著CNN層數的加深，容易出現梯度擴散。此時單純地加深網絡層數難以提升識別準確率。因此，文獻[9]在Inception V1的基礎上加入了批量正則化層(Batch Normalization,BN)，提出了Inception V3模型，BN層的加入能夠提升網絡的泛化能力。ResNet[10]將輸入信息跨層傳遞并與卷積后的輸出相加，在不增加網絡層數的情況下保留了豐富的高維信息，進一步解決了梯度擴散的問題。何凱明等[11]提出了ResNeXt模型，在文獻[10]的結構中加入了文獻[9]的分解-變換-聚合思想，使得ResNeXt能夠在不增加網絡復雜度的情況下提升準確率。文獻[12]提出了DenseNet模型，能夠有效地解決梯度消失的問題，并且在大幅度減少參數量的前提下，強化了特征傳播、支持特征重用。

近年來，CNN在調制信號識別領域內也開始逐漸興起，并取得了一定的成效。薛偉等[13]利用小波變換提取MFSK、MPSK和MQAM信號的特征參數，再將提取的特征輸入到三層的人工神經網絡中進行訓練，取得了較好的分類效果，但此方法需要人工提取參數特征，且人工神經網絡相比深層CNN提取特征的能力有限。Hauser等[14]利用原始IQ數據作為4層CNN的輸入，實現了8類調制信號的識別，識別準確率達到了80%。文獻[15]將原始IQ數據輸入到4層CNN進行訓練，對不同信噪比的調制信號進行了識別分類，模型在高信噪比情況下識別準確率較高，隨著信噪比的減小，準確率降低，最終在測試集上達到66.9%的準確率。文獻[16]參考文獻[9]提出的Inception結構，設計了一個三層的CNN提取原始IQ數據的特征，再將提取的特征輸入到長短期記憶網絡(Long Short-Term Memory,LSTM)進行分類，實現了PSK、QAM和FSK等調制信號的分類識別，識別準確率最終達到了87%。但這一方法對MQAM的子類信號識別準確率不高，16QAM和64QAM的準確率均只有40%左右。文獻[14-16]都為利用原始IQ數據輸入到淺層CNN中進行分類，取得了一定的成效?？紤]到CNN對于豐富的圖像信息的提取效果，將IQ數據經過變換生成圖像數據訓練的研究也逐漸增多，已有方法說明調制信號的圖像信息較原始IQ數據，能夠提升CNN的分類準確率。陳敏華等[17]提出一種基于CNN的信道均衡算法，利用星座圖實現了QPSK的識別，達到了82%的準確率，但信號種類單一，識別難度較小。Zhang等[18]將雷達信號的時頻圖輸入到一個5層的卷積網絡進行特征提取，再將提取的特征輸入到多層感知機，實現了8類雷達信號的分類，最終準確率達到了93.7%。Wang等[19]提出了一個基于調制信號眼圖的6層CNN，實現了RZ-OOK、NRZ-OOK、RZ-DPSK和4PAM的識別。Zhang等[20]利用信號時頻圖輸入到一個5層的CNN中，實現了LFM、SFM、PFM、FSK及未調制信號的識別，達到了99.1%的準確率，但此方法對于FSK信號識別準確率較低，大約為90%。Karra等[21]提出了一種分層深度神經網絡，利用IQ數據經過FFT變換得到信號時頻圖，實現了一個11類信號的分類器，最終達到了90%的總準確率，但該網絡對于QPSK、8PSK和16QAM的識別效果均低于70%。Peng等[22]利用調制信號的星座圖輸入CNN的經典模型AlexNet中進行訓練，實現了QPSK、8PSK、16QAM和64QAM的分類，但模型對16QAM和64QAM識別效果差，低信噪比情況下16QAM和64QAM準確率僅有80%，相比文獻[15]，單類調制信號的子類識別效果有了顯著提升。

目前存在的分類方法中，主要使用淺層CNN進行調制信號的識別，且CNN多用于不同種類調制信號的識別，但對于單類調制信號子分類的識別研究不多。單類調制信號子分類之間相似度比不同種類間信號大，使用原始IQ數據識別難度大，利用圖像信息可以提升其分類準確率。針對上述問題，本文采用IQ信號的時頻圖作為訓練數據，并用深層的CNN以提取圖像的高維特征，這樣既避免了依靠人工設計復雜分類器，又實現了相似度較高信號的自動識別。

1 數據采集與預處理

1.1 IQ數據采集

為收集實驗所需的MPSK的三類子信號BPSK/QPSK/8PSK，本文采用Agilent E4438矢量信號發生器發射信號，通過天線使用R&S ESMD接收機進行接收。采集過程中參數設置如下：固定濾波帶寬為150 KHz，頻點583 M，頻譜帶寬為500 kHz，濾波器為矩形濾波器。為了客觀真實地反映信號特征，本文在進行數據采集時，采用以1 kHz為步長從24 kHz變化至30 kHz的7種碼率和以10 dBm為步長從-20 dBm變化至-50 dBm的4種幅度交叉組合，得到28種信號。

1.2 數據預處理

對于調制信號，時頻圖具有重要的意義，其特征通常蘊藏于相位隨時間的變化中，時間和頻率兩者具有緊密的聯系。從統計的角度看，時頻圖能比較完整地包含信號的關鍵信息。因此，利用時頻圖進行分類識別是信號進行分類識別中最有效的途徑之一。短時傅里葉變換(Short-Time Fourier Transform,STFT)通過加窗對時域信號進行無限等長細分，每個細分部分近似平穩，進一步對每個加窗細分部分進行傅里葉變換，從而得到IQ數據的二維時頻譜。

短時傅里葉變換形式表示為：

(1)

式中:ω(n)為窗函數,x[n]為輸入信號序列，n為時域采樣點數。

由于海明窗能夠加寬主瓣減小旁瓣，波動性小，能夠有效抑制MPSK信號的頻譜泄露，因此本文采用海明窗函數作為STFT變換的窗函數。海明窗函數表示為：

ω[n]=0.54-(0.46×cos(n/N))

(2)

式中:n為輸入信號序列，N為FFT點數，本文中N設為2 048。

采集的IQ數據通過STFT變換，即可得到MPSK信號的時頻圖,如圖1所示。通過圖1可以看出MPSK信號的時頻圖相似程度極高，肉眼很難完全區分。

圖1 BPSK/QPSK/8PSK的時頻圖

由于MPSK信號的時頻圖的形式較為固定，若在預處理中加入翻轉、隨機剪裁等數據增強的處理并不會提升實際應用中的準確率，反而會導致模型在實際應用中的識別效果不佳、泛化性差。因此在數據集的預處理過程中，本文僅將圖像的大小縮放為112×112像素，不進行對比度、亮度和隨機剪裁等操作。

生成的所有時頻圖被隨機劃分成訓練集、驗證集和測試集三個部分，并設定數據類別的標簽，數據劃分情況如表1所示。

表1 時頻圖數據集劃分情況

2 MPSK識別算法模型

2.1 ReSENet網絡

目前，已經有諸多優秀模型在圖像識別領域內取得了良好成效。本文受深度卷積神經網絡ResNeXt[11]啟發，設計了一個33層的CNN網絡ReSENet，用以提取信號的高維特征，并進行識別。ReSENet的整體結構如表2所示。

表2 ReSENet網絡結構圖

續表2

在設計過程中，本文結合文獻[23]的SENet網絡能夠強調有用通道中信息的特點，加入了SENet中的SE模塊作為ReSENet的基礎模塊ReSE。ReSE模塊結構如圖2所示。圖2中ResNeXt單元結構和SE模塊分別如圖3和圖4所示。

圖2 ReSE模塊結構圖

圖3 ResNeXt結構單元示意圖

圖4 SE模塊結構圖

圖5 神經元的內積

由于時頻圖的各種特征對識別的貢獻不一，卷積層在低層提取輪廓、紋理等特征，在高層提取抽象特征，卷積層提取的特征無法由人為辨別是否有效，而SE模塊的特征重定向功能解決了上述問題。特征重定向通過學習全局信息，能夠自動判斷每個特征通道的重要程度，并對特征通道設定權重，顯式地建立特征通道之間的相互依賴關系，從而強調有用特征，抑制對識別貢獻少的特征。SE模塊主要分為兩部分：擠壓模塊Squeeze和激勵模塊Excitation。SE模塊實現特征重定向的步驟如算法1所示。

算法1SE模塊的特征重定向

步驟1:將卷積后的特征的全局空間信息分通道壓縮，壓縮方式為全局平均池化，計算式表示為:

(3)

式中:uc為卷積后的三維特征，其通道數、高和寬分別用C、H和W表示；zc為壓縮后的新信道信息。

s=σ(g(z,W))=σ(W2δ(W1z))

(4)

式中:σ為sigmoid激活函數，σ為Relu函數，W1和W2中的降維比例R可自行設置為4、16、64等，s為捕獲的信道間非線性互斥關系。

步驟3：將步驟2中得到的權重加權到每個通道的特征上，完成通道維度上的特征重定向，計算式表示為：

(5)

經過多次卷積提取特征后，將得到的特征圖輸入到全局平均池化層(Global Average Pooling,GAP)中。GAP能夠強化特征圖與分類之間的關系。利用GAP代替傳統CNN中的全連接層能夠更好地避免整體網絡結構的過擬合[25]。然后，將經過GAP的特征圖輸入到softmax層中，最后利用交叉熵損失函數計算預測概率與真實類別的誤差，從而實現了MPSK信號的分類。

2.2 模型優化

此外，本文對ReSENet網絡做出了以下優化：

(1) 梯度下降算法用于更新和計算梯度，使其逼近或達到最優解，從而最小化損失函數。Adam算法[26]相對原本的ResNeXt使用的Momentum梯度下降算法，具有學習率自適應、對選擇的超參數魯棒性高的優點，所以本文采用了文獻[26]中的Adam算法。

(2) 采用LeakyRelu[24]作為本文的激活函數，減少Relu激活函數神經元死亡從而進一步緩解梯度消失問題，提升網絡性能。LeakyRelu的表達式如下：

(6)

式中:αi其中是一個很小的常數(本文取0.01)，yi是經過激活函數后的結果，xi是圖像進行卷積操作后的結果。

(3) 加入了L2正則化[27]以減少模型與時頻圖中噪聲信息的相關性，減少過擬合。

(4) 使用3×3的卷積核[8]，而非ResNeXt提出的7×7卷積核，在兼顧卷積獲取的信息同時提升網絡的運算效率。

(5) 使用了Xavier初始化，可以提升模型的訓練速度及分類準確率[28]。

3 實 驗

3.1 參數配置

本文使用圖形工作站訓練神經網絡，顯卡為 GTX 1080Ti，處理器為Inter(R) Core(R) CPU i7-8700k 3.70 GHz，內存為16 GB。軟件環境為Windows 10系統，使用TensorFlow 1.8.0深度學習框架，開發語言為Python 3.5。ResNeXt中分支數量設為4，SE模塊中的降維比例R設為4。網絡的初始學習率設置為0.001，學習步長設置為4 000步，batch size設置為32。

3.2 實驗結果與分析

將制作的時頻圖數據輸入到ReSENet中進行訓練，模型在4 000步達到收斂，識別準確率為99.9%，其在測試集上的識別率如表3所示。

表3 測試集的識別率

圖6為ReSENet在不同層數不同訓練步數所提取的時頻圖特征，可以看出在網絡低層提取的低維特征與時頻圖具有相似性，隨著層數加深和訓練步數的增加，提取的特征越抽象。

圖6 ReSENet提取的特征圖

3.2.1有無SE模塊的對比

本文對SE模塊對ReSENet網絡性能的影響進行了實驗，結果如圖7所示。

圖7 SE模塊對ReSENet網絡性能影響

在深度學習中，損失函數和準確率常用于評價模型的分類性能。觀察圖7可以得出，含有SE模塊的模型在訓練過程中準確率和損失更快達到最優，且波動較小。最終含有SE模塊的準確率為99.9%，損失為0.020 4；不含SE模塊的模型準確率為98.2%，損失為0.001 3。SE模塊的加入提升了1.7%的準確率，并且損失下降了0.001 3，證明了SE模塊的特征重定向功能對模型的性能提升具有顯著效果。

3.2.2不同梯度下降算法的比較

為了驗證Adam算法對模型的性能，本文與Momentum、SGD及Adagrad三種不同的梯度下降算法進行了對比實驗。參考了文獻[29]中的梯度下降算法優化器的參數設置，再經過調參試驗，最終本文所采用的參數設置如表4所示。

表4 不同梯度下降算法的參數設置

圖8分別顯示了使用不同梯度下降算法的ReSENet的損失及準確率隨步數變化的情況。由圖8可知， 不論在準確率還是損失的收斂效果上，Adam算法在1 000步時已達到了明顯優于其他算法的效果，在后續訓練過程中也一直穩定，驗證了Adam算法的有效性。

圖8 不同梯度下降算法效果對比

3.2.3不同激活函數的比較

圖9為不同激活函數對模型的影響，觀察圖9可知，LeakyRelu函數相較于sigmoid函數具有更好的準確率，相較于Relu激活函數更快達到準確率最優值且波動較小，說明使用LeakyRelu函數提高了模型的穩定性。

選擇特異性的通用引物338F(5′-ACTCCTACGGGAGGCAGCAG-3′)、806R(5′-GGACTACHVGGGTWTCTAAT-3′)[8]擴增細菌16Sr RNA 序列V3+V4區，并利用Illumina Miseq高通量測序平臺對PCR擴增產物進行分析，所用引物均由上海美吉生物有限公司合成。

圖9 不同激活函數效果對比

3.2.4與其他神經網絡的對比

為了驗證本文方法的性能，本文對ReSENet、文獻[19]提出的6層CNN網絡(CNN-6)和文獻[20]提出的5層CNN網絡(CNN-5)使用同樣的樣本集分別進行實驗。如圖10所示，ReSENet的訓練準確率遠超過CNN-6[19]、CNN-5[20]，達到99.9%。

圖10 ReSENet與其他網絡結構訓練準確率對比

為進一步顯示模型性能的差異，采用同類論文中常用的混淆矩陣顯示測試集上的實驗結果。如圖11所示，圖中橫軸表示類別的真實種類，縱軸表示預測種類。以圖11(a)為例，BPSK總計1 000幅，其中999幅預測正確，只有1幅被誤判為QPSK。由圖11可知，CNN-6對BPSK識別效果良好，但對QPSK及8PSK的識別效果較差；CNN-5對每類信號的識別較為均衡，但對各類信號的識別準確率均較低。而ReSENet對每類圖片均具有最好的識別效果，對三類信號的識別準確率達99.9%，較CNN-6提升了18.5%，較CNN-5提升了26.7%。

(a) ReSENet

(b) CNN-6[19]

(c) CNN-5[20]圖11 ReSENet與其他網絡結構測試集效果對比

可以看出，本文使用的ReSENet結構具有三大優點：

(1) CNN-6[19]、CNN-5[20]均采用層數較少的卷積神經網絡，而ReSENet具有27層多分支并行結構，網絡越深越寬，其對應的濾波器能夠提取到越復雜抽象的特征，越利于信號的準確分類。

(2) CNN-6和CNN-5的卷積核尺寸分別為5×5、9×9而ReSENet使用了多個3×3和1×1卷積核進行堆疊，以減少每步參數的計算量。

(3) 本文加入的SE模塊能夠學習特征通道間的相互依賴關系，提升有用特征通道對識別準確率的貢獻。

4 結 語

本文針對MPSK子類信號難以用傳統方法自動識別、現有方法識別準確率較低的問題，提出了一種新的深度卷積神經網絡模型ReSENet。經過實驗驗證，本文提出的ReSENet在MPSK數據集的分類上具有優秀的表現，識別準確率達到99.9%，實現了特征自提取的目的，解決了已有方法對調制信號子類識別準確率不高的問題。但本文僅對MPSK子信號的識別進行了研究，在后續工作中，可以考慮將進一步完善網絡，將其應用于多種調制信號，如MFSK、ASK和QAM等子類混合的識別任務中。