基于循環譜和深度神經網絡的調制識別算法

葛 戰，伍 警，李 兵，蔣鴻宇，周 劼

(中國工程物理研究院 電子工程研究所，四川 綿陽 621900)

0 引言

通信信號經過周期變換(如采樣、調制及編碼等)處理后，會呈現周期平穩特性[1]。不同調制信號會在循環譜上表現出不同的特性，可以此進行調制樣式分類[2]。傳統基于循環譜的調制識別方法包含循環譜圖生成、人工選取特征以及分類器設計等步驟[3]。實際中，由于通信信號循環譜數據量較大，一般需要采取降維方法對數據進行降維。然而，不同的降維方法以及特征的選取和門限的劃分均會影響分類器的分類性能[4]。

與傳統識別方法不同，近年來，深度學習(Deep Learning,DL)技術由于其在圖像識別等領域中表現出的優異性能被引入至調制識別研究當中[5-7]。該技術直接以數據作為輸入，能夠學習到更加豐富的特征信息,自動完成特征提取及信號分類,顯著提高了識別率[8-10]。文獻[11-13]采用卷積神經網絡(Convolutional Neural Network,CNN)以及自編碼器(Auto-Encoder,AE)等深度網絡通過對信號的循環譜進行學習實現調制識別。然而,以上工作未考慮信號循環譜數據量較大這一問題，直接導致訓練時間過長。

針對該問題，本文首先分析了采用CNN直接對未降維的譜數據學習分類，以及采用主成分分析(Principal Component Analysis,PCA)和AE方法對譜數據降維，再采用CNN實現調制分類的3種方法。然后，在此基礎上提出了基于AE和CNN相互聯合的網絡結構——AE-CNN，同時完成數據降維和調制識別工作。網絡以循環譜的循環頻率軸投影(α-profile)作為AE的輸入輸出，實現對輸入數據的壓縮，同時將AE的隱層輸出，即壓縮后的數據，送入至CNN實現學習分類。2個網絡通過聯合訓練最終實現調制識別。實驗結果表明，該網絡結構無需人工選取特征，直接以信號的循環譜作為輸入，與基于PCA和AE降維的方法相比，能夠充分地利用輸入數據的特征信息，獲得較高的識別性能；與基于CNN的方法相比，能夠大幅地減少訓練時間，并在識別性能上有一定的提升。

1 問題分析

1.1 循環譜分析

通信信號在經過周期變換后會表現出二階周期特性，是一種廣義循環平穩信號[1]。其自相關函數Rx(t;τ)=Rx(t+τ/2,t-τ/2)本質上是對信號的瞬時譜在頻率軸上下移動一定的值后做相關，通過相關可以得到不同循環頻率上的譜累計，進而產生冗余譜峰。由于不同樣式的通信信號會產生不同類型的譜峰，因此可以用此區分通信信號類型。

Rx(t;τ)可展開成傅里葉級數的形式[14]：

(1)

對于循環平穩信號可使用統計平均代替時間平均，得到：

(2)

信號的循環譜可表示為循環自相關函數的傅里葉變換，即：

(3)

實際中，計算循環譜的算法一般是通過對循環周期圖做平滑處理后得到，主要包括離散頻率平滑算法和離散時間平滑算法[1]。由于高精度譜相關計算復雜度較高，因此常采用快速計算方法[1]。基于離散時間平滑的快速算法主要有：FFT累積算法(FFT Accumulation Method，FAM)和比特譜相關算法等[1]。本文采用FAM算法計算調制信號的循環譜，然后對循環譜α軸進行投影，提取到用于信號調制識別的數據樣本：

(4)

α軸投影包含了信號的特征信息，相比較循環譜圖本身能夠有效地降低數據量，常用于頻帶調制信號識別。6種調制信號在信噪比為6 dB時的循環譜圖及α軸投影如圖1所示。

(a) BPSK

由圖1可以看出，各調制信號在不同的循環頻率上會呈現出不同的譜峰，因此可以根據譜峰數量實現對其分類。傳統方法通過設定門限找出α軸投影上的譜峰數量，然后通過比較譜峰數量實現調制識別。本文采用深度神經網絡直接提取循環譜α軸上的特征信息，無需再設定門限尋找譜峰。該方法能夠更充分地挖掘有益于分類的特征信息，實現識別率的提升。

1.2 數據降維

由于采用FAM算法計算出的循環譜數據量較大且含有冗余信息，如果直接采用神經網絡訓練會造成訓練時間過長。因此，在送入神經網絡訓練之前一般需要進行降維，使數據能夠更容易使用，并一定程度地去除噪聲，同時降低計算開銷。常見的降維方法有PCA、局部線性嵌入(Locally Linear Embedding，LLE)、線性判別分析(Linear Discriminant Analysis,LDA)、T-SNE以及AE等[15]。由于PCA計算復雜度較低而被廣泛使用，但是該方法需要選取合適的主成分數才能取得最佳性能。本文采用AE實現對循環譜數據的降維操作，相比較PCA方法，AE是一種非線性變換方法，能夠學習更深層次的特征信息。經實驗，其他方法，如LLE，LDA和T-SNE，在對本文的循環譜數據進行降維時耗時非常大，暫不考慮。

2 算法設計

2.1 CNN

對于規模較大的數據，全連接網絡由于參數眾多，會造成訓練時間過長，而CNN則能夠有效降低訓練復雜度，并且采用多卷積核能夠提取到更為豐富的特征信息，因此本文采用CNN實現對輸入數據的學習與分類。

CNN本質上是一種具有更深層次的前饋神經網絡，通過采用局部連接和權值共享使網絡學習參數大幅降低，能夠在大規模數據上進行學習訓練。通常由卷積層、池化層和全連接層組成[16-17]。

卷積層采用卷積核提取輸入數據的隱含特征，即特征圖。卷積操作過程如下：

(5)

池化層主要是用于對卷積后的數據執行下采樣操作，用于數據的降維：

(6)

全連接層則用于分類，常用Softmax分類器。訓練過程會將分類器的輸出與樣本對應的標簽信息進行比較，采用反向傳播法迭代更新網絡參數使損失函數最小，損失函數由交叉熵確定：

(7)

式中，m，j，k分別為樣本數量、樣本標簽以及調制種類；q(·)為指示函數；lnp(·)為樣本zi的概率。

考慮CNN在未降維循環譜數據上的分類性能(方法1)。所采用的CNN結構如圖2所示，由輸入模塊、特征提取模塊和分類模塊組成，其中輸入根據不同的方法，分別為循環譜數據、PCA降維后的數據或AE的隱層輸出。特征提取模塊由3個卷積層和3個池化層串聯組成，卷積層采用一維CNN，相比二維CNN，一維CNN參數更少，訓練速度更快,能夠有效減少訓練時間。卷積塊1～3中，卷積核大小均為1×3，通道數依次為64，32和24，激活函數采用ReLU。池化層采用1×2的平均池化，進一步縮減網絡參數。文中所提出的方法均采用該CNN結構。

圖2 CNN方法結構Fig.2 Structure diagram of CNN method

2.2 PCA

針對循環譜降維問題，首先采用PCA方法實現。PCA常用于高維數據的降維，是一種線性變換，通過將原始數據投影到若干維度得到不相關的線性表示，進而提取數據的主要特征分量[18-19]。這些主成分保留了數據的主要信息，能夠表征原始數據。常用的PCA算法包括基于特征值分解和奇異值分解(Singular Value Decomposition,SVD)2種方法。

本文采用基于SVD的PCA方法對訓練集進行降維，然后把降維后的數據送入CNN實現分類(方法2)，基于PCA方法的識別框圖如圖3所示。降維后的數據規模大幅減小，神經網絡訓練時間也能夠大幅降低。同時，本節通過選取不同的主成分數量，驗證了其對調制識別性能的影響。

圖3 PCA方法結構Fig.3 Structure diagram of PCA method

2.3 AE

AE是一種無監督深度學習方法，能夠實現對循環譜數據的降維。與PCA不同，既能對輸入數據進行線性變換也能進行非線性變換。其主要目的是通過模型的學習使得輸出能夠重構出輸入，主要由編碼器和解碼器組成[6,12]，其網絡結構如圖4所示。

圖4 AE網絡結構Fig.4 Structure diagram of AE network

(8)

本文采用全連接網絡實現AE，其中編碼器和解碼器成對稱結構，分別由2層全連接網絡構成，具體參數如圖4所示。實驗中AE的輸入和輸出為各信號的循環譜。經過學習，AE能夠實現對輸入數據的降維，其隱層能夠提取到輸入數據的特征信息，然后將這些特征信息送入到CNN即可實現分類(方法3)。

2.4 AE-CNN

方法3首先采用AE對輸入數據降維，然后采用CNN進行分類，類似于2.2節基于PCA的方法，這2個學習過程彼此獨立。需要注意的是，該方法會把數據降維時的誤差引入至后續的分類學習當中，造成分類性能下降。本節在方法1和3的基礎上，提出了將AE數據降維和CNN信號分類進行相互聯合學習的網絡結構(方法4)，如圖5所示。

圖5 AE-CNN網絡結構Fig.5 Structure diagram of AE-CNN network

該網絡結構采用AE對數據降維，同時將其隱層輸出至CNN，然后將2個網絡的損失函數相加，通過反向傳播算法更新誤差使得2個網絡能夠聯合訓練。網絡中AE有助于對輸入數據的重構精度分類，同時CNN的分類準確性又有助于重構誤差的減小，因此通過聯合訓練有助于提升分類準確率。該網絡的損失函數如下：

L=Lc+Lr。

(9)

2.5 識別方法步驟

本文采用AE和CNN相互聯合的方法，對循環譜進行降維的同時實現調制識別。具體步驟可概括為：

① 生成6種通信調制信號，該信號為具有載波頻率的頻帶信號；

② 采用FAM算法計算各調制信號的循環譜；

③ 獲取各調制信號循環譜α軸的投影，產生訓練集、驗證集以及測試集；

④ 方法1實現：采用CNN直接對循環譜訓練集進行訓練，實現分類；

⑤ 方法2實現：采用PCA對訓練集降維，然后送入CNN實現學習分類；

⑥ 方法3實現：采用AE進行降維，然后采用CNN對AE的隱層輸出學習分類，2個步驟獨立；

⑦ 方法4實現：采用AE進行降維的同時將其隱層輸出至CNN，將2個網絡的損失函數相加，進行聯合訓練分類；

⑧ 訓練完成后，在測試集上分別驗證不同方法的性能，完成信號的調制分類。

3 算法仿真及分析

3.1 數據集構建及訓練設置

產生訓練所需的訓練樣本、驗證樣本和測試樣本。本次仿真共產生6種經過標注的信號(BPSK，QPSK，2FSK，4FSK，MSK和OQPSK)。載波頻率為4 kHz，符號率為1 kHz，采樣率為16 kHz，符號長度為1 000，成型濾波器為升余弦濾波器，過渡帶寬為0.35。數據首先由Matlab 2017a產生，然后采用FAM算法計算出每種信號的循環譜圖。每種信號的信噪比為-6～10 dB，每隔1 dB產生1 000個數據，其中900個用于訓練，100個用于驗證。測試集則按照上述參數單獨生成，每信噪比下樣本數量為200。樣本標簽采用one-hot編碼格式。

實驗中網絡結構由TensorFlow深度學習框架搭建，采用ADAM作為優化器。初始學習率、批處理大小以及訓練次數分別設置為lr=0.001，batchsize=100及epoch=50。訓練中采取變更學習率策略，當網絡模型在驗證集上的損失變化連續5個epoch小于0.001時，學習率縮減10倍，有助于訓練精度的提升。

3.2 CNN方法性能分析

方法1：將6種調制信號的循環譜訓練數據直接送入CNN。在測試集上6種調制信號的平均識別率如圖6所示。由圖6可以看出，隨著信噪比的增加信號識別率也在增加。通過計算，信噪比在-6～10 dB不同樣式的總體平均識別率為86.5%。

圖6 不同信噪比下6種信號的平均識別率Fig.6 Average correct recognition probability of six signals under different SNR

每種信號的識別率如圖7所示。由圖7可以看出，2FSK，4FSK和MSK的性能較優，BPSK和QPSK的次之，OQPSK的性能最差。識別結果與圖1所表現的一致，圖1中2FSK，4FSK和MSK所包含的特征信息相比較更多，更容易區分；而OQPSK與QPSK較為相似，增加了區分難度。

圖7 不同信噪比下各信號的識別率Fig.7 Correct recognition probability of each signal under different SNR

3.3 PCA方法性能分析

方法2：首先采用PCA對訓練數據進行降維，然后使用CNN分類，以達到減少訓練時間的目的。實驗中PCA主成分數分別選取16，24，48，192及512。不同主成分數的分類性能如圖8所示。圖8中不同主成分數(16～512)對應的總體平均識別率為85.9%，86.1%，85.8%，84.6%和83.0%。由此看出，隨著主成分數的增加，分類性能呈下降趨勢。

圖8 PCA方法不同主成分的識別率Fig.8 Correct recognition probability of PCA method with different principal components

主成分數為24和192時，模型在訓練集和驗證集上的訓練過程如圖9所示。由圖9可以看出，隨著主成分數的增加，訓練集上的識別率在增加，但驗證集上的識別率卻在減小。主要是由于當主成分數增加時，在訓練集上能夠提取到更多的特征信息，然而當該PCA參數應用到測試集時提取的特征信息與訓練集會存在更多的差異，造成測試集性能下降。因此在實際中采用PCA降維時，主成分數會影響識別性能，需要多次實驗尋找最優數值。經驗證，在主成分數為24時性能較優，接近方法1中的分類性能。由此可見，該方法在經過數據降維后仍能得到較優的性能，表明原始數據中含有較多的冗余信息，合適的數據降維對分類性能影響較小。

圖9 不同主成分訓練性能對比Fig.9 Training performance comparison with different principal components

3.4 AE&CNN獨立訓練性能分析

方法3：采取AE和CNN獨立訓練的方式。同PCA方法，首先采用AE對訓練集降維，其編碼器的輸入和解碼器的輸出采用相同的數據。AE訓練完成后把訓練集送入該網絡，其隱層即可提取出降維后的特征信息。然后，將這些特征信息送入至CNN網絡即可實現分類，2個網絡單獨訓練。

AE中4個全連接網絡選取4組不同的參數，分別為“1 024-512-512-1 024”“512-256-256-512”“96-48-48-96”“48-24-24-48”。不同參數下該方法的識別結果如圖10所示，對應的總體平均識別率分別為85.6%，85.1%，84.8%，83.4%。可以看出，AE模型中隨著參數數量的減少，識別性能會有所下降。主要是由于當全連接神經元減少時，AE提取的信息不足所造成。因此，在實際中需要選擇合適的網絡參數才能達到理想的識別性能。

圖10 不同網絡參數時AE&CNN的識別率Fig.10 Correct recognition probability of AE&CNN with different network parameters

方法3在全連接參數為“1 024-512-512-1 024”時，-6～10 dB信噪比范圍內6種不同信號的總體識別率為85.6%，與方法1和方法2相比分別下降0.9%和0.5%。該方法面臨的問題同方法2，即在采用AE降維時會引入誤差信息，送入隨后的分類網絡時，造成識別性能的下降。

3.5 AE-CNN聯合訓練性能分析

方法4：提出的AE-CNN模型通過將負責數據降維的AE和負責調制分類的CNN兩個深度網絡聯合訓練實現信號的調制識別。同方法3，網絡中AE的參數設定為“1 024-512-512-1 024”，方法1～4在不同信噪比下的平均識別率如圖11所示。由圖11可以看出，基于AE-CNN聯合的方法相比其他3種方法性能有明顯的提高。通過計算，AE-CNN方法在-6～10 dB的總體識別率為87.7%，與方法1～3相比分別提升了1.2%，1.6%和2.1%。

圖11 方法1～4識別性能對比Fig.11 Recognition performance comparison of method 1～4

每種信號在不同信噪比下的識別率如表1所示。與圖7相比較，該方法在低信噪比時對BPSK的識別性能較優，而對MSK的識別性能有所下降，對于OQPSK的識別性能則優于方法1，其余幾種樣式的識別性能較為相似。

表1 不同信噪比下各信號的識別率Tab.1 Correct recognition probability of each signal under different SNR

測試AE-CNN中4個全連接網絡選取不同參數時的性能。AE的參數設置同3.4節，不同參數下AE-CNN網絡的識別性能如表2所示。由表2可以看出，與AE&CNN方法不同，AE-CNN選取不同的參數時對識別性能影響不大。由于聯合訓練時2個網絡起到相互促進作用，有助于減少誤差累積。

表2 不同網絡參數時AE-CNN的識別率Tab.2 Correct recognition probability of AE-CNN method with different network parameters

3.6 訓練時間分析

本文采用軟硬件平臺的主要參數為Intel CPU主頻2.4 GHz，顯卡為NVIDIA GTX3090，深度學習框架為TensorFlow2.4。采用方法1～4在相同的訓練集上進行訓練，統計訓練過程中每epoch所消耗的時間如圖12所示。

由圖12可以看出，采用CNN單獨訓練時，所消耗時間較多，約66.5 s。采用PCA降維時所消耗時間最少。在選取3種不同主成分(文中設定為24，192和512)時每epoch訓練耗時幾乎一致，約11 s。AE&CNN方法在3組不同的參數(如表2前3組參數)下迭代時間約為22 s。AE-CNN方法在相同的參數下迭代時間約為18 s。可以發現，方法2～4在3組不同的參數下每epoch訓練時間幾乎一致。其中AE-CNN方法在提高了識別率的同時相對于CNN方法的訓練時間也大幅地減少。

圖12 方法1～4每epoch訓練耗時Fig.12 Training time per epoch of method 1～4

4 結束語

本文采用深度神經網絡針對通信信號的循環譜開展調制識別問題研究。在分析了基于CNN，PCA以及AE三種方法的基礎上，提出了一種基于AE和CNN相互聯合的網絡結構同時完成數據降維和調制識別的算法。該方法在對循環譜數據壓縮的同時采用CNN實現調制分類。2種網絡在訓練過程中相互促進，其中AE的重構精度能夠促進分類性能的提升，而CNN的分類精度又有助于減小重構誤差。實驗結果表明，該方法能夠獲得更優的識別性能，并且在訓練時間上相對于單獨采用CNN也大幅減少。后續工作會考慮采用卷積AE和稀疏AE等方法進一步提升識別性能。