一種萊斯衰落信道下基于注意力機制的雙向循環(huán)神經(jīng)網(wǎng)絡調(diào)制識別算法

胡佩聰，楊文東，吳鳳廣，王晉芳

（1.陸軍工程大學，江蘇 南京 210007；2.電子信息系統(tǒng)復雜電磁環(huán)境效應國家重點實驗室，河南 洛陽 471000；3.32319 部隊，新疆 烏魯木齊 830002）

0 引言

調(diào)制方式的自動識別（Automatic Modulation classification，AMC）是介于信號檢測和信號解調(diào)之間的一項技術，其主要任務是實現(xiàn)信號的智能接收與處理。在合作通信領域，該技術主要用于智能無線電系統(tǒng)，包括認知無線電與軟件無線電；在非合作通信領域，其主要用于電子對抗、通信偵察以及信號監(jiān)測等[1]。

早期的調(diào)制識別依靠操作員使用耳機、示波器或頻譜分析儀等工具對調(diào)制方式進行判定，該方式受技術員的知識儲備、裝備熟悉程度以及個人經(jīng)驗等主觀因素影響較多，識別效果有限。隨著技術的進步，人們開始針對不同環(huán)境下的各類調(diào)制信號采用不同的方法實現(xiàn)調(diào)制的自動識別。比較傳統(tǒng)的調(diào)制方式識別技術主要可以分為基于似然比（Likelihood Based，LB）的調(diào)制方式識別技術[2]以及基于特征（Feature Based，F(xiàn)B）的調(diào)制方式識別技術[3]兩類。基于似然比的調(diào)制方式識別算法具有較高的準確率，但它需要信號模型中隨機變量的概率分布等先驗信息，而這在實際應用中通常是無法獲取的。另外，該算法計算復雜度高，有的場景僅存在理論上的計算可能。基于信號特征的調(diào)制方式識別算法計算復雜度較低，通過合理設計特征參數(shù)與分類器能獲得較好的分類結果，但特征參數(shù)的設計與分類器的選擇對性能影響較大。近年來，隨著計算機硬件以及大數(shù)據(jù)的發(fā)展，基于深度學習的調(diào)制方式識別方法[4]被大量研究，典型的神經(jīng)網(wǎng)絡結構如深度神經(jīng)網(wǎng)絡[5-6]（Deep Neural Network，DNN）、卷積神經(jīng)網(wǎng)絡[7-13]（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡[14-15]（Recurrent Neural Network，RNN）等均被應用于調(diào)制識別技術。

注意力機制[16]（Attention Mechanism，AM）作為一種優(yōu)化算法于2014 年提出，近年來廣泛應用在深度學習中的各個領域。注意力機制是一種資源分配機制，其核心思想是合理改變對信息的關注度，忽略無關信息并放大有用信息。神經(jīng)網(wǎng)絡通過結合注意力機制改變網(wǎng)絡權重，給有效信息分配足夠的關注，從而提高模型的準確率。文獻[17]針對資源受限的終端設備研究了基于門控循環(huán)單元（Gated Recurrent Unit，GRU）的循環(huán)神經(jīng)網(wǎng)絡結構調(diào)制識別性能，分析了GRU參數(shù)設置對識別準確率的影響。文獻[18]采用多個長短時記憶（Long Short-Term Memory，LSTM）層搭建循環(huán)神經(jīng)網(wǎng)絡，并引入了時間注意力機制，對不同噪聲影響下的調(diào)制信號進行了有效分類；仿真結果表明，該方法對不確定噪聲條件的信號具有魯棒性且識別性能接近理想的最大似然分類器。文獻[19]提出了一種改進的LSTM網(wǎng)絡的調(diào)制識別算法，通過長短期記憶網(wǎng)絡提取信號特征，利用注意力機制為學習到的特征分配權重，仿真結果表明，該算法能以較低的時間代價取得較高的準確率。

本文采用的注意力機制引入了在訓練中不斷學習的新向量，通過它衡量特征的重要性并分配權重，結合雙向循環(huán)神經(jīng)網(wǎng)絡構建了算法模型。針對萊斯衰落影響下的數(shù)字信號，該算法可以有效提取信號特征并將其進行分類，能以較好的訓練表現(xiàn)獲得較高的調(diào)制方式識別準確率。

1 信號模型

接收端信號模型表示為：

式中：a表示信道衰落；f0表示頻率偏移；θ0表示相位偏移；ω(t)表示零均值的加性復高斯白噪聲；s(t)為輸入信道的信號。

s(t)可表示為：

式中：E為信號能量；L為碼元序列長度；sk為信號碼元序列；p(t)為發(fā)送碼元波形；Ts為碼元寬度；fc為載波頻率。

在接收端對信號進行下變頻，匹配濾波等預處理，得到受衰落影響的基帶符號序列。

萊斯分布，又稱廣義瑞利分布，其概率密度函數(shù)為：

式中：c2表示鏡像分量（直射分量）的功率；σ2表示散射分量的功率；I(·)表示第一類零階貝塞爾函數(shù)。萊斯K因子定義為鏡像分量和散射分量功率之比為：

此時，概率密度函數(shù)可由萊斯K因子表示為：

萊斯K因子決定了衰落程度，當萊斯K因子趨于零時（K＜-40 dB），即不存在鏡像分量的情況下，萊斯分布退化為瑞利分布；當萊斯K因子足夠大時（K＞15 dB），萊斯分布趨于高斯分布。圖1 以1 000 個樣點的16 正交振幅調(diào)制（Quadrature Amplitude Modulation，QAM）星座圖為例，展示了相位偏移為0，信噪比分別為15 dB 和20 dB 時不同萊斯K因子對信號的影響。從圖1 可以看出，萊斯衰落對信號的影響體現(xiàn)在兩個方面：一是對信號的尺度進行了放縮，二是使信號的相位產(chǎn)生了偏移。進一步通過對比可以看出，隨著信噪比的升高，星座圖各點區(qū)分越發(fā)明顯，在相同信噪比條件下，萊斯K因子越大，越接近理想信道下的星座圖。

圖1 受不同程度萊斯衰落影響的16QAM 信號星座

2 調(diào)制識別算法模型

2.1 RNN 模型

RNN 通常在處理序列信息時使用，能探索序列的順序所蘊藏的信息。RNN 對序列中的所有元素做同類型的操作，并構建序列中先前元素的記憶，以預測下一個元素。典型的RNN包括LSTM網(wǎng)絡和GRU網(wǎng)絡。

LSTM 網(wǎng)絡通過引入LSTM 塊使梯度可以隨時間變化而變化，從而讓網(wǎng)絡權重能根據(jù)輸入信息動態(tài)變化，解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡因梯度消失問題導致的無法訓練長期依賴信息問題。LSTM 塊的內(nèi)部結構如圖2 所示，ft表示遺忘門，決定來自上一層的信息是否被記錄；it表示輸入門，決定該輸入信息是否被使用；at表示產(chǎn)生備選信息的來源，用于更新記憶單元狀態(tài)ct；ot表示輸出門，決定輸出給下一層的信息；ht表示隱藏狀態(tài)。

輸入門和輸出門都只在需要過去的信息時才打開門并傳播信號，從而實現(xiàn)有選擇性地保存過去的信息。遺忘門的作用是接收從記憶單元傳來的誤差，在需要的時候“遺忘”記憶單元中保存的值從而實現(xiàn)對信息權值的控制。其具體實現(xiàn)過程為：

式中：W*、U*表示權重矩陣；b*表示偏置向量；sigmoid與tanh表示激活函數(shù)；“。”表示Hadamard積，又稱為逐元素積。

通過以上運算，LSTM 將學習到的特征保存為記憶單元，根據(jù)訓練情況將保存的記憶進行選擇性的保留或者遺忘。在多次迭代后，留住了重要的特征信息，使得網(wǎng)絡在處理具有長時間依賴的任務中有較好的性能表現(xiàn)。

GRU 網(wǎng)絡也能訓練長期依賴信息，且相較于LSTM 網(wǎng)絡結構更為簡單，運算時間更短。圖3 展示了GRU 內(nèi)部結構，它僅由重置門rt和更新門zt構成，重置門將儲存信息與當前輸入相結合，更新門根據(jù)訓練情況更新儲存的信息。

圖3 GRU 內(nèi)部結構

式（12）、式（13）、式（14）、式（15）展示了其具體的實現(xiàn)過程，從中可以看出，GRU 網(wǎng)絡實現(xiàn)的功能與LSTM網(wǎng)絡相似，但參數(shù)要少于LSTM網(wǎng)絡。

2.2 注意力機制雙向門控循環(huán)單元神經(jīng)網(wǎng)絡模型

一般的RNN 都是以從過去到未來的單向流動為前提建立的模型。在有些情況下，如對有的時間序列數(shù)據(jù)進行分類時，雙向循環(huán)神經(jīng)網(wǎng)絡（Bidirectional Recurrent Neural Network，BiRNN）能遞歸地反饋過去和未來的隱藏層狀態(tài)，可獲得更高的分類精度。注意力機制借鑒了人腦通過提取重要特征鑒別事物的方式，最初主要應用于圖像識別領域，隨著研究的深入，逐漸在文本分類、調(diào)制識別等不同領域流行。

圖4 為文獻[19]提出的改進的LSTM 模型結構，圖5 展示了本文提出的注意力機制雙向門控循環(huán)單元神經(jīng)網(wǎng)絡（Bidirectional Gated Recurrent Unit Neural Network，BiGRU）模型結構。通過對比可以看出，本方法將LSTM 層替換為BiGRU 層，且通過引入隨機初始化并在訓練中不斷學習的向量uz來衡量BiGRU 網(wǎng)絡提取的特征向量hi（i=1,2,…,N，N為神經(jīng)元個數(shù)）的重要性。

圖4 改進的LSTM 模型結構

圖5 注意力機制BiGRU 模型結構

分配權重的過程如式（16）、式（17）、式（18）所示，首先將神經(jīng)元隱藏狀態(tài)hi通過一個多層感知機（Multi-Layer Perception，MLP）獲得其隱藏表示ui，然后結合uz通過softmax 函數(shù)獲得權重αi，經(jīng)加權求和得到最終的特征向量v，最后將該特征向量分別通過兩層全連接層獲得分類結果。

具體訓練步驟如下文所述。

步驟1：初始化網(wǎng)絡參數(shù)，其中全連接層第一層網(wǎng)絡節(jié)點數(shù)為128，激勵函數(shù)為ReLU，第二層網(wǎng)絡節(jié)點數(shù)為輸出類別數(shù)，激勵函數(shù)為Softmax；

步驟2：將數(shù)據(jù)分批次送入神經(jīng)網(wǎng)絡進行訓練，每批次訓練的數(shù)據(jù)量為100 個信號序列（batch_size=100）；

步驟3：BiGRU 層對數(shù)據(jù)進行特征提取，再由注意力機制為提取的特征合理分配權重獲得新的特征向量，最后送入全連接層進行分類，同時為抑制過擬合，在BiGRU 層后添加Dropout 層，參數(shù)設置為0.5；

步驟4：采用多類別交叉熵為損失函數(shù)計算損失值，并通過自適應矩估計（Adam）對網(wǎng)絡參數(shù)進行優(yōu)化，其學習率為0.001，學習率更新參數(shù)為β1=0.900,β2=0.999，模糊因子為ε=10-8；

步驟5：將訓練數(shù)據(jù)集的20%作為驗證集，用于驗證網(wǎng)絡的訓練效果，所有數(shù)據(jù)訓練一輪為一次迭代，訓練的停止條件為迭代次數(shù)達到100 次或者訓練損失值連續(xù)10 次迭代沒有改善。

步驟6：不滿足停止條件則更新網(wǎng)絡參數(shù)并跳至步驟2，否則停止訓練，獲得訓練好的網(wǎng)絡模型與分類結果。

3 實驗仿真與分析

3.1 數(shù)據(jù)集

本文用MATLAB 對萊斯衰落影響下的2 進制振幅鍵控（Amplitude Shift Keying，ASK）、4ASK、正交相移鍵控（Quadrature Phase Shift Keying，QPSK）、8PSK、16 正交振幅調(diào)制（Quadrature Amplitude Modulation，QAM）以及64QAM 6 類信號進行仿真并產(chǎn)生相應的訓練以及測試數(shù)據(jù)集。訓練數(shù)據(jù)集中每類調(diào)制方式產(chǎn)生100 000 個帶標簽的信號序列，每個信號序列長度L=100，接收的第i個符號序列滿足：

式 中：n=1,2,…,L；ωi(n)～CN(0,1)；θ(n) 服 從[0,2π)之間的均勻分布；a(n)服從萊斯分布；同一符號序列ai(n)與θi(n)相同；不同符號序列之間ai(n)與θi(n)不同，每個符號序列的平均信噪比服從[-10 dB,30 dB]之間的均勻分布。

為了檢驗網(wǎng)絡的實際效果，本文采用與訓練數(shù)據(jù)集相同的信噪比范圍，信噪比間隔為2 dB，且每類調(diào)制信號對應于相應信噪比采用蒙特卡洛方法產(chǎn)生的1 000 個符號序列作為測試數(shù)據(jù)集。

3.2 仿真與分析

本文的實驗平臺為Intel Core i5 10210U CPU，內(nèi)存12 GB；數(shù)據(jù)集由MATLAB2019a 仿真產(chǎn)生；網(wǎng)絡模型由基于TensorFlow 和Keras 的深度學習庫搭建。

考慮到num_units是循環(huán)神經(jīng)網(wǎng)絡的核心參數(shù)，該參數(shù)決定了循環(huán)神經(jīng)網(wǎng)絡層的輸出維度，對網(wǎng)絡性能有重要影響，因此本文研究了該參數(shù)設置對模型調(diào)制識別性能的影響。以本文提出的模型為研究對象，采用萊斯K因子為5 dB 時產(chǎn)生的數(shù)據(jù)集，通過對網(wǎng)絡核心參數(shù)num_units 設置不同的值比較其分類準確率獲得合適參數(shù)，從而進行進一步研究。仿真結果如圖6 所示，當該參數(shù)值小于40 時，參數(shù)值越大，識別準確率越高；當參數(shù)值大于40 時，準確率提升已不明顯。考慮該參數(shù)值越大，網(wǎng)絡所耗費的時間成本越高，在后續(xù)研究中將網(wǎng)絡參數(shù)num_units 的值設置為40。

圖6 不同參數(shù)下的識別準確率

確定關鍵參數(shù)后，為驗證該模型是否具有比較優(yōu)勢，采用萊斯K因子為5 dB 時產(chǎn)生的數(shù)據(jù)集分別訓練單層LSTM 模型和文獻[19]中的改進的LSTM 網(wǎng)絡模型（核心參數(shù)num_nuits 設置與本文一致），并比較各模型的分類性能。表1 對比了各種模型的計算復雜度，從中可以看出，模型1（LSTM模型）單次迭代時間最短，模型3（本文模型）次之，模型2（改進的LSTM）所需時間最長。為了比較各模型訓練表現(xiàn)，圖7 展示了不同模型的損失值。從圖7 可以看出模型3 獲得了較低的損失值，模型1 與模型2 分別在第7 次和第9 次迭代以后過擬合現(xiàn)象越來越突出，模型3 在第8 次迭代后也出現(xiàn)了過擬合現(xiàn)象，但相對于模型1 和模型2 而言過擬合程度不大，這是因為模型3 采用了雙向循環(huán)神經(jīng)網(wǎng)絡。雙向考慮，即進一步考慮從未來到過去的做法，比起單向考慮從過去到未來的時序關系，能提高模型的泛化能力，從而抑制過擬合的程度。圖8 對比了不同模型的識別準確率，該準確率對應于該次迭代計算的網(wǎng)絡模型參數(shù)下，獲得的交叉驗證數(shù)據(jù)集的平均識別準確率。從圖7 中可以看出，模型3 具有更高的識別準確率。結合計算復雜度，訓練表現(xiàn)以及識別準確率三方面因素，可以得出模型3 綜合性能最優(yōu)。

圖7 不同模型損失值對比

圖8 不同模型識別率對比

表1 各模型計算復雜度對比

為進一步研究模型3 對萊斯衰落影響下信號的識別性能，本文進一步仿真產(chǎn)生了萊斯K因子為-40 dB、5 dB 和15 dB 時的調(diào)制信號數(shù)據(jù)集，并分析該模型對于不同萊斯衰落程度信號的識別性能。圖9為不同萊斯衰落程度的數(shù)據(jù)集下各調(diào)制方式平均識別準確率隨信噪比的變化圖，從圖中可以看出，隨著信噪比的提升，信號調(diào)制識別的準確率逐漸上升，且萊斯K因子越大，分類性能越好。圖10 展示了萊斯K因子為5 dB 的數(shù)據(jù)集下各類信號的識別準確率，從圖中可以看出，信噪比較低時（SNR＜0 dB），識別效果較差，錯判較多。當信噪比大于14 dB時，除多進制正交幅度調(diào)制（Multiple Quadrature Amplitude Modulation，MQAM）信號外的識別準確率接近100%。隨著信噪比進一步提高，MQAM 信號識別準確率提升明顯。圖11 進一步展示了萊斯K因子為5 dB 的數(shù)據(jù)集下信噪比為8 dB 時該模型的識別混淆矩陣，從中可以看出，在該信噪比下，調(diào)制方式分類的難點在于16QAM 信號與64QAM 信號，二者之間存在嚴重的誤判，原因在于二者星座圖具有一定的相似性，再加上受萊斯衰落影響，一定程度上增加了誤判的可能性。

圖9 不同萊斯衰落程度平均識別準確率對比

圖10 各類信號識別準確率

圖11 混淆矩陣

4 結語

本文以萊斯衰落影響下的6 種數(shù)字調(diào)制信號為研究對象，探討了一種基于注意力機制的BiGRU 模型的調(diào)制識別性能。實驗結果表明，與單層LSTM 模型以及一種改進的LSTM 模型相比，本文提出的模型在訓練表現(xiàn)、識別準確率等方面均具有優(yōu)勢。