基于瞬時幅度和相位的深度學習調制識別

陳觀業 侯 進 張 姬

(西南交通大學信息科學與技術學院 四川 成都 611756)

0 引 言

自動調制識別是信號檢測和解調之間的重要中間步驟，在各種民用和軍用應用中起著關鍵作用。對于民用應用，它用于頻譜管理、信號確認和干擾識別；在軍事應用中，它用于電子戰、監視和威脅分析。目前傳統的調制識別有兩個主要的研究方向：基于最大似然的估計方法和基于特征工程的方法。文獻[1]提出了一種用于連續相位調制的混合最大似然分類器。文獻[2]結合連續相位調制分解和最大期望算法，提出信道參數可估計的連續相位調制信號似然函數方法。然而，最大似然算法同時有著較高的計算復雜度和需要較多先驗信息的缺點，這成為該類方法應用的主要瓶頸。基于特征的調制識別算法則需要從數據中提取信號的時域特征或變換域特征，選取合適的分類器來完成信號的調制識別任務。文獻[3]利用小波域中接收信號的循環平穩特征、估計的符號速率對接收的信號特征的直方圖來識別調制類型。文獻[4]使用輸入信號的瞬時幅度作為特征向量對不同ASK信號進行分類，并使用8階的高階累積量對不同PSK信號進行分類。文獻[5]結合離散小波變換和廣義自回歸條件異方差模型，對六種不同類型的數字調制進行識別。在分類決策中，傳統的分類器包括隨機森林[6]、多層感知器[7]和支持向量機[8]等。然而，上述調制識別方法很大程度上依賴于人工對信號特定特征的提取。

隨著深度學習在圖像識別和語音識別領域的快速發展，利用深度學習技術實現信號自動調制識別逐漸受到了重視。深度學習具有自動提取目標特征的優點，可以直接學到數據的特征，不需要依賴于人為特征提取。O’Shea等[9]提出了一個用于調制識別研究的不同信噪比下11類復雜調制信號的IQ數據集，并在文獻[10]中利用卷積神經網絡(Convolutional Neural Networks,CNN)對該數據集進行分類，在低信噪比條件下具有更加穩定的性能，證明了深度學習在調制識別領域的可靠性。文獻[11]利用卷積神經網絡ReSENet對時頻圖的特征進行自動提取和調制識別。West等[12]得出調制識別領域中的深度神經網絡的性能不受網絡深度的限制，且需要進一步發展改進訓練方法和網絡架構來提升識別效果。

本文在研究分析調制識別領域深度學習模型的基礎上，設計一種結合一維卷積神經網絡和長短期記憶網絡(Long Short Term Memory Networks,LSTM)的深度學習模型(One-dimensional Convolutional Neural Network and Long Short Term Memory Networks，OCLN)。該方法更加適合對時序信號進行調制識別，在識別信號原始IQ數據集上得到了很好的發揮。針對調制信號QAM16和QAM64難識別問題，將IQ數據轉化為瞬時幅度和相位數據，并利用OCLN在幅度和相位的AP(Amplitude and Phase)數據集上識別，從而提高了QAM16和QAM64識別區分度，也提升了總體的識別精度。

1 調制信號采集及轉換

1.1 IQ數據采集

本文研究的調制信號數據來源于文獻[10]中生成并公開的RadioML2016.10b數據集，其包括了10種調制信號類型：8種數字調制和2種模擬調制，包括用于數字調制的BPSK、QPSK、8PSK、QAM16、QAM64、BFSK、CPFSK和PAM4，以及用于模擬調制的WBFM和AM-DSB。整個數據集是在GNU Radio中生成的序列長度為128的復雜時域向量。數據集生成的詳細信息可以在文獻[9]中找到。總樣本數為1 200 000，訓練示例以2×128個向量的形式輸入網絡，其中：2表示的是同相I和正交Q；128表示每個樣本信號序列長度為128。IQ向量是原始復數樣本到兩組實值數據向量的映射，其中一組攜帶同相樣本，另一組保留正交分量值。輸入數據中的標簽包括信噪比基本信息和相應的10種調制類型。樣本的信噪比一共有20種，從-20 dB到18 dB均勻分布。

1.2 瞬時幅度和相位數據及數據預處理

通常來講一個調制信號公式如下：

r(t)=s(t)*c(t)+n(t)

(1)

式中：s(t)是接收信號的無噪聲復基帶包絡；n(t)是均值為零的加性高斯白噪聲；c(t)是發射無線信號時變脈沖響應渠道；*代表卷積運算。為了讓接收信號r(t)在數學運算和計算機硬件設計方面具有更好的適應性和簡便性，通常以IQ格式表示信號數據。

同相分量I表示為：

I=Acos(φ)

(2)

正交分量Q表示為：

Q=Asin(φ)

(3)

式中：A和φ分別為接收信號r(t)的瞬時幅度和相位。因此由信號IQ數據通過轉換，也能得到信號的幅度和相位數據。其計算式為：

(4)

(5)

式中：Xφn為相位數據的元素；XAn為幅度數據的元素；rin為IQ數據的同相分量；rqn為IQ數據的正交分量值。

將變換后的幅度和相位存儲為AP數據，格式與IQ數據一樣，樣本都是2×128，相應的信噪比和調制類型基本信息也對應地存儲在新的數據集上。

在輸入模型訓練之前，對獲得的幅度和相位數據使用L2范數正則化進行數據預處理。數據正則化將樣本的范數歸一化，對于每個樣本，將樣本范數縮放成單位范數。這樣能在計算點積或其他核函數的相似度時對樣本向量具有統一的標準。向量x(x1,x2,…,xn)的L2范數定義為：

(6)

L2范數歸一化就是向量中每個元素除以向量的范數，歸一化公式表示為：

(7)

通過對AP數據做L2范數處理，解空間得到了縮小，進而控制模型復雜度，降低結構化風險。對模型空間實施了控制，從而避免了模型的過擬合，并在一定程度上提高了模型的泛化能力。

2 調制識別的深度學習模型

2.1 卷積神經網絡和優化的結構

2.1.1卷積神經網絡結構

目前在調制信號IQ數據識別上一般采用卷積神經網絡比較多。而傳統的CNN模型采用3×3或者更小的1×1的卷積核，針對調制信號數據和圖像識別領域的差異，卷積神經網絡模型的卷積核選擇使用了1×3和2×3的卷積核，基礎網絡結構如圖1所示。

圖1 卷積神經網絡基本結構

使用這樣的卷積核在更有效地減少模型參數的同時，使得模型的收斂速度加快和訓練時間縮短，有利于訓練效果的提升。在每一層卷積層之前，都加入了零填充(Zero Padding)層，保持邊界信息，避免卷積過后的矩陣變得越來越小，讓更深層的輸入依舊保持有足夠多的信息量。跟傳統的卷積神經網絡卷積層之間周期性地插入池化層相比，調制識別的卷積神經網絡模型取消了池化層。雖然池化層會減小參數的空間大小，在一定程度上減少了模型過擬合的情況，但是IQ信號序列的相鄰位置信息對于調制類別之間的區分是很重要的，需要給予必要的關注。

本文訓練模型都使用了早停(Early Stopping)的方法，監視模型驗證的損失函數的變化。當其在5個epoch不變時則停止模型訓練，進而減少模型過擬合的情況。訓練模型時使用丟棄法(Dropout)，在每個訓練批次中，忽略一部分隱藏的神經元。本文使用的Dropout層加在卷積層后面，Dropout的取值都是0.5。網絡同時加入了批正則化[13](Batch Normalization,BN)，這有利于加速神經網絡訓練的收斂速度和減少梯度爆炸，同時也減輕了對參數初始化的依賴和允許使用較大的學習率，大大地增加模型泛化能力。

2.1.2ResNet網絡結構

在深度學習模型的訓練集上，傳統神經網絡并不是越深效果就越好，盲目地增加網絡的層數會導致網絡模型梯度消失現象。而隨著網絡層數越深，訓練參數也會越多，訓練隨之變得更難，網絡優化也會越來越難。文獻[14]提出的殘差結構能有效地解決這個問題。殘差模塊如圖2所示。

圖2 基本的殘差網絡結構

本文在CNN模型卷積層優化成殘差模塊，網絡每層卷積層的卷積核的數目都為50，模型的其他層選擇維持跟CNN模型一樣。借助ResNet網絡能夠加深模型深度而不會梯度消失的優勢，分析在加深網絡深度的同時，模型能否更好地學習到更多的參數特征，對信號調制識別精度是否有提升。

2.1.3DenseNet網絡結構

文獻[15]提出DenseNet，相比于ResNet參數量更少，同時也緩解了梯度消失的問題，加強了特征傳播和特征復用，減少了參數量。DenseNet模塊如圖3所示。

圖3 基本的DenseNet網絡模塊

該結構每一層的輸入來自前面所有層的輸出。本文DenseNet網絡卷積層的卷積核數目分別選擇80和256，模型的其他層也維持跟CNN模型一樣。在全連接層前將各層的輸出權重疊加在一起作為輸出，再將特征映射到獨立空間。

2.2 長短期記憶網絡

遞歸神經網絡(Recurrent Neural Networks,RNN)被大量用于從時間序列數據中學習持久特征。LSTM是一種特殊的RNN，可以有效地學習長期依賴關系。

LSTM單元具有內部狀態門Ct、輸入門it、忘記門ft和輸出門ot。這種門控機制有助于LSTM單元將信息存儲更長的時間，從而實現持久的特征學習。計算公式如下：

it=σ(Wxtxt+Whiht-1+bi)

(8)

ft=σ(Wxfxt+Whfht-1+bf)

(9)

ot=σ(Wxoxt+Whoht-1+bo)

(10)

C-int=(Wxcxt+Whcht-1+bC-in)

(11)

Ct=ft·Ct-1+it·C-int

(12)

ht=ot·tanh(Ct)

(13)

式中：W為權重；b為偏差。

長短期記憶的輸入門、遺忘門和輸出門可以控制信息的流動。長短期記憶可以解決循環神經網絡中的梯度衰減問題，并更好地捕獲時間序列中時間步距的依賴性。本文LSTM網絡中選擇了兩層LSTM模型，輸出維度選擇為64，LSTM后面直接連接展平(Flatten)層，把多維的輸入一維化。之后將一維化的輸入直接傳遞給分類器，不需要借用全連接層來進一步映射。

2.3 OCLN模型的設計

就模型性能而言，CNN擅長減小頻域方面的變化，LSTM可以提供長時間的記憶，所以在時域上有著廣泛應用，而DNN(Deep Neural Networks)則更適合將特征映射到獨立空間。CLDNN[16]同時使用卷積結構、循環結構、全連接結構構建神經網絡模型。CLDNN已被廣泛用于涉及時域信號的識別任務，因為其固有的存儲特性可識別輸入信號中的時間相關性。CLDNN網絡的通用結構從輸入層輸入時域相關的特征，連接若干層CNN來減小頻域變化，CNN的輸出接著若干層LSTM來減小時域變化，LSTM最后一層的輸出輸入到全連接DNN層，目的是將特征空間映射到更加容易分類的輸出層。

本文在CLDNN網絡基礎上設計OCLN深度學習模型來契合AP數據的訓練，比起常規的CLDNN模型，OCLN在幅度和相位數據上能學習到更多的特征，模型識別性能也更加好。本文設計的OCLN模型結構如圖4所示。

圖4 OCLN網絡模型基礎結構

深度學習模型在調制識別應用中，卷積神經網絡的卷積層一般使用二維卷積(Conv2D)，而OCLN模型在卷積神經網絡的卷積層選擇了一維卷積(Conv1D)，卷積核數目為50，卷積核長度為8。二維卷積是將一個特征圖在水平和垂直兩個方向上進行窗口滑動操作，對應位置進行相乘并求和；而一維卷積則是只在水平或者垂直方向上進行窗口滑動并相乘求和。一維卷積可以在整個數據集的固定長度段中獲得感興趣的信號調制特征，并且該特征在數據段中的位置不跟高度相關，相比二維卷積，能更好地用于分析具有固定長度周期的信號數據。

一維卷積層后使用一維的最大池化層，池化的窗口大小為2，池化步長為2，這將減少輸出的復雜度并防止數據的過擬合，同時加入了BN層加速訓練和減少梯度爆炸。在循環卷積網絡中選擇了3層LSTM網絡，輸出維度都選擇為64。在LSTM層后面也加上Dropout層，其取值為0.5。CLDNN需要借助重塑(Reshape)層來連接CNN模塊和LSTM模塊，而OCLN不需要使用Reshape層就可以使CNN模塊直接連接LSTM模塊，加速了網絡的訓練，這也是選擇一維卷積帶來的一個優勢。

CLDNN會在LSTM后使用DNN全連接層，綜合全局信息，把圖像降維成一維序列。全連接層存在參數冗余，這導致了訓練速度的降低和模型容易過擬合。目前越來越多的神經網絡放棄全連接層，使用全局平均池化或者全卷積來代替。卷積層相當于局部連接，它根據卷積核的感受野確定提取的特征范圍。當卷積核的感受野覆蓋整個圖時，其作用類似于全連接層。目前大多數任務不需要提取全圖特征，而只需要可以覆蓋目標對象大小的感受野特征即可。全卷積網絡的情況表明，用卷積層代替全連接層，簡化網絡的同時而不會造成明顯的性能下降。本文通過一維卷積得到的一維信號特征，不需要全連接層對其降維，提取到的特征也足以覆蓋信號的感受野。OCLN模型去掉了全連接層，最后仍使用Softmax分類器來指導分類過程，也能達到原來的效果。

3 實驗與分析

3.1 實驗環境和參數配置

本文實驗所使用的硬件配置為：Inter Xeon CPU，48 GB內存，NVIDIA GTX 1080Ti 580 3 GB GPU顯卡。軟件運行環境為64位Ubuntu16.04操作系統，網絡模型由Python調用Keras API編寫，以TensorFlow作為計算框架并由CUDA8.0加速計算。數據集使用RadioML2016.10b調制信號數據集，分別以原來IQ信號格式和轉換后的幅度相位信號格式作為數據。本文將1 200 000個信號樣本劃分成900 000個訓練樣本和300 000個測試樣本，并將劃分的數據打亂順序輸入。數據的批量大小為1 024，優化器使用自適應矩估計(Adam)，初始學習率設為0.001。

3.2 基于IQ數據的模型對比實驗

將信噪比-20 dB到18 dB，信噪比間隔為2的原始IQ信號輸入到本文的CNN、ResNet、DenseNet、LSTM和專為調制信號設計的OCLN模型中進行訓練。不同模型在20種信噪比下的10類調制信號識別準確率曲線如圖5所示。網絡模型的各項平均準確率如表1所示。

(a) 各信噪比下模型的識別精度曲線

(b) 0 dB以上混淆部分放大后的曲線圖5 IQ數據各模型識別準確率曲線

表1 基于IQ數據的模型平均準確率(%)

在IQ信號數據中，本文的OCLN在-20 dB到18 dB信噪比下平均準確率達到了62.82%，與其他模型相比均是最高。這也說明了OCLN模型在IQ信號中有著良好的識別性能。表現最差的網絡模型ResNet總體平均準確率只有46.92%，而淺層的CNN模型為56.41%。DenseNet的總體平均準確率56.24%比CNN稍低，但高于0 dB信噪比的平均準確率卻比CNN稍高，說明了DenseNet在高信噪比下比CNN識別性能稍好。這也反映了卷積網絡中卷積層數的增加和在其上面的優化對于IQ信號調制識別提升不大。LSTM的效果比卷積神經網絡要好，僅次于OCLN模型，反映了在時序IQ信號識別中LSTM比卷積神經網絡更加具有優勢，單純地對卷積神經網絡結構的優化并沒達到理想的結果，這也是OCLN模型設計重心偏向LSTM的原因之一。

3.3 基于AP數據的模型對比實驗

在維持信噪比、調制類別和信號長度不變的基礎上，將IQ信號轉換成具有瞬時幅度和相位信息的數據，數據格式依然為2×128，但這里的2表示瞬時幅度和瞬時相位。不同模型在20種信噪比下的10類調制信號識別準確率如圖6所示。網絡模型的各項平均準確率如表2所示。

圖6 AP數據各模型識別準確率曲線

表2 基于AP數據的模型平均準確率(%)

在瞬時幅度和相位數據集下，對于所有信噪比平均準確率和0 dB以上的平均準確率比較，雖然ResNet性能提升不大，效果仍然比不上淺層的CNN，但是其優化版的DenseNet卻分別達到了59.22%和89.21%，在識別性能上遠好于淺層的CNN。這也一定程度上表明了在瞬時幅度和相位數據中，DenseNet具有非常好的抗過擬合性能和對于卷積網絡識別性能利用的提高。值得一提的是LSTM依然具有良好的識別性能，總體平均準確率達到了62.66%。對比可以看出即使在AP數據集下，LSTM對于時序信號的識別依然好于卷積神經網絡。本文設計的OCLN模型表現仍然優秀，總體平均準確率和0 dB以上的平均準確率分別達到了64.40%和93.21%，與其他模型相比識別效果最高。這也表明了融合一維卷積和LSTM優點的OCLN在信號AP數據集上識別的有效性，識別效果也比其他模型要好。

3.4 與其他文獻方法比較

為了進一步驗證本文OCLN模型的性能，與其他文獻提出的方法進行對比分析。文獻[12]使用結合ResNet的CLDNN模型；文獻[17]使用了基本的CLDNN模型；文獻[18]使用基于CNN的多任務學習模型；文獻[19]提出了基于貝葉斯優化算法和CNN結合的模型。表3給出了基于IQ數據的本文OCLN方法和其他文獻的各項平均準確率對比。

表3 本文OCLN方法與其他文獻的準確率對比(%)

對比文獻都基于原始的IQ數據，只是各自的模型方法不同。本文OCLN模型的各項指標的平均準確率均最高，說明了本文設計的OCLN模型在IQ數據上識別效果要好于其他方法。而且在AP數據集上OCLN效果會更加好，在0 dB以上平均準確率相比文獻[19]提高了3.4百分點。盡管OCLN模型在0 dB到18 dB的平均準確率達到了90.81%，但是OCLN基于IQ數據有著與其他文獻方法一樣的通病。圖7為OCLN模型在0 dB信噪比的混淆矩陣。

圖7 OCLN模型在0 dB信噪比的混淆矩陣

可以看出，在QAM16和QAM64之間的識別還不是很高。WBFM超過一半識別為AM-DSB，這些在高信噪比條件下也沒有得到很好的改善。這也是總體的平均準確率不高的原因之一，另一方面信噪比在-6 dB以下低信噪比的識別效果較差。

3.5 基于AP數據的OCLN模型分析

通過將調制信號的IQ數據轉化為AP數據，OCLN模型的識別準確率得到了進一步的提高。表4給出了OCLN模型在IQ和AP數據的各項平均準確率對比。

表4 本文OCLN模型在IQ和AP數據的平均準確率(%)

AP數據集下各項準確率指標分別提高了1.58百分點、2.40百分點和0.76百分點。雖然總體上提升不夠明顯，但可以進一步分析它在兩種不同數據集上的混淆矩陣，挖掘基于AP數據給OCLN模型調制識別帶來的作用。圖8為信噪比為16 dB下AP和IQ數據的混淆矩陣。

(a) 基于AP數據的混淆矩陣

(b) 基于IQ信號的混淆矩陣圖8 信噪比在16 dB下OCLN模型的混淆矩陣

除了WBFM信號外，OCLN模型在高信噪比下瞬時幅度和相位數據有著非常好的識別效果，OCLN在數字調制信號上識別準確率更是超過了99%。相比在IQ信號識別效果，OCLN模型在AP數據中對于QAM16和QAM64兩者識別效果有著顯著提升，對QAM16和QAM64識別率分別達到了98%和99%，相比IQ數據下分別提高了13百分點和11百分點。這也表明了轉化后AP的數據相比IQ數據更有助于提高OCLN模型對于QAM16和QAM64的識別區分度，有效地解決了QAM之間的調制識別問題。但基于AP數據并沒有很好地提高對WBFM和AM-DSB的辨別效果，只有2百分點的提升，而且還有53%WBFM的樣本被識別為AM-DSB。

OCLN模型在信噪比不是很高的情況下就達到了很好的識別效果。圖9是AP數據集信噪比為0 dB時候的OCLN模型的混淆矩陣。

圖9 OCLN模型在AP數據集0 dB時的混淆矩陣

此時相對于IQ數據難以區分的QAM16和QAM64，其識別率就分別達到了96%和97%。雖然8PSK識別率只有87%，WBFM識別精度也還是有所欠缺，但是從圖6可知0 dB時準確率達到90.43%。對于模擬調制信號AM-DSB和WBFM之間的區分，WBFM容易被識別為AM-DSB，雖然在高信噪比16 dB時準確率比在0 dB時提高了約8%，但WBFM依然難識別，這主要是由于音頻的靜音期所致，調制信號是從真實音頻流中生成的。

本文在OCLN模型全連接層的選擇上進行了實驗，實驗使用了AP數據，有無全連接層的平均準確率和模型參數實驗結果如表5所示。

表5 本文OCLN模型在有無全連接層的比較

添加了全連接層的模型參數要比無全連接層的要多，訓練所用時長也相應要多。另一方面無全連接層的模型跟添加全連接層的準確率相差不大，甚至要好一點。在性能和效率平衡的角度上，本文放棄使用了全連接層。

4 結 語

本文先是基于信號的原始IQ數據，通過比較一些在自動調制識別領域經常應用的深度學習模型，選出能提取信號低維度特征的一維CNN和擅長于長時間的記憶LSTM網絡，將兩者結合，同時去掉參數冗余的全連接層，平衡了模型的性能和效率。與傳統的模型以及改善性能的模型相比，本文的OCLN模型進一步提高了調制信號的識別能力。在此基礎上，通過將IQ數據轉化為信號的瞬時幅度和相位數據，OLCN模型顯著提高了QAM的類間識別。應用于信號的瞬時幅度和相位數據，本文模型在信噪比大于0 dB時平均準確率達到了93.21%，高信噪比條件下數字調制信號識別率達到了99%。但該方法依然存在著模擬信號WBFM和AM-DSB識別不高的問題，如何進一步解決模擬信號的識別并提高模型的總體識別精度，將是下一步研究的方向。