基于深度學習注意力機制的調(diào)制識別方法*

杜志毅，張澄安，徐 強，李保國

（國防科技大學電子信息系統(tǒng)復雜電磁環(huán)境效應國家重點實驗室，湖南長沙410073）

0 引言

信號的自動調(diào)制識別[1-2]是指已知信號所在調(diào)制集合，利用相關技術正確識別目標信號調(diào)制類型。隨著通信技術的發(fā)展，各種新型調(diào)制方式不斷出現(xiàn)，調(diào)制識別技術需要不斷發(fā)展以適應不同情況下的識別要求。

現(xiàn)有的有關調(diào)制識別的大多數(shù)技術一般都是基于特征提取和機器學習分類算法[3-4]。但是這些方法多數(shù)為模型驅(qū)動，需要對信號進行預處理。另外其適應信道環(huán)境單一，在復雜信道環(huán)境時識別性能較差。傳統(tǒng)的特征提取方法是基于統(tǒng)計資料的[5]，因此分類結果易受環(huán)境變化影響?；跈C器學習的調(diào)制識別方法也是需要人為提取信號的特征，不能像深度學習一樣自主提取出信號的特征。因此這些方法在復雜的信道環(huán)境下識別準確率不會很高，在實際的通信系統(tǒng)中難以使用。

深度學習的方法[6-7]被認為是突破性能瓶頸的有效方法[8]。Xie等人提出了一種改進的深度神經(jīng)網(wǎng)絡識別方法網(wǎng)絡(DNN)[9]。Aslam等將基因編程(GP)和KNN結合起來準確識別4種調(diào)制模式[10]。與上述方法不同，本文提出了一種基于注意力機制的雙向LSTM卷積神經(jīng)網(wǎng)絡（BLACN)。其通過對同向正交IQ樣本進行訓練,利用卷積神經(jīng)網(wǎng)絡優(yōu)秀的特征提取能力，實現(xiàn)對復雜調(diào)制方式識別特征的提取。并通過注意力機制和雙向LSTM關注信號的關鍵特征與時序信息來提高信號的識別準確率。

1 系統(tǒng)與信號模型

1.1 系統(tǒng)模型

圖1展示了信號調(diào)制識別的系統(tǒng)架構。信號源的信息通過信號調(diào)制轉(zhuǎn)換為不同調(diào)制樣式的信號，通過信道進行傳輸。本文考慮的信道環(huán)境為高斯信道。接收端首先將接收到的信號進行調(diào)制樣式的識別，之后對識別出調(diào)制樣式的信號進行解調(diào)得到所要傳輸?shù)男畔ⅰ?/p>

圖1 信號調(diào)制識別系統(tǒng)結構框圖

樣本為2×K大小的實值矩陣。

1.2 信號模型

通信信號的調(diào)制方式按照其調(diào)制原理的不同，主要分為模擬調(diào)制和數(shù)字調(diào)制2大類。模擬調(diào)制分為幅度調(diào)制和角度調(diào)制2種。數(shù)字調(diào)制分為幅度鍵控、頻移鍵控、相移鍵控、正交振幅調(diào)制4大類，分別通過對載波的幅度、頻率、相位、幅度和相位進行調(diào)制，以傳輸基帶信號。本文給出正交振幅調(diào)制的信號模型如下：

信號的基帶波形可以表示為：

式中,ν(t)表示加性高斯白噪聲；g(t)表示等效濾波器，包括成型濾波、信道濾波和匹配濾波；a n表示發(fā)送端所發(fā)送的符號序列。不同的調(diào)制方式，符號序列呈現(xiàn)的樣式也不盡相同。

對于正交振幅調(diào)制，有：

此信號為M(M=2k,k=1,2…)進制，A i、B j分別是2支路信號的幅度，其定義為：

式中，i,j=1,2,…,L，對于取值范圍L，其與信號的階數(shù)M相關。例如，L=1,則為4QAM；若L=2時，則為16QAM。本文主要考慮11種信號，分別為BPSK、QPSK、8PSK、16QAM、2FSK、MSK、FM、AM、2ASK、4FSK和OQPSK。這11種信號能覆蓋大部分常見的信號調(diào)制方式，使本文的仿真實驗更具有說服力。

2 識別算法

2.1 注意力機制

Mnih V、Heess N[11]首先在圖像識別領域提出注意力機制。從視覺注意力機制來說明注意力機制：人類視覺通過快速掃描全局圖像，獲得需要重點關注的目標區(qū)域，也就是一般所說的注意力焦點，而后對這一區(qū)域投入更多注意力資源，以獲取更多所需要關注目標的細節(jié)信息，而抑制其他無用信息。這就是我們在學習中所理解的注意力。

目前注意力機制主要有自注意力機制和注意力池化2種。由于自注意力機制能夠關注到序列中每個位置之間的關系，因此通信信號識別過程可以在LSTM輸出層加入自注意力機制，從而讓深度學習算法能夠關注由LSTM提取的信號特征表現(xiàn)出的序列性，增強通信信號的時序特征。

注意力機制包括3個結構：查詢項(Query)、鍵項(Key)，值項(Value)。根據(jù)這3個結構可以計算出深度學習學習出的通信信號的特征對于對應類別的信號的影響程度。計算過程圖2所示。

圖2 注意力計算流程

即將Source中的構成元素想象成是由一系列的＜Key,Value＞數(shù)據(jù)對構成，此時給定Target中的某個元素Query，通過計算Query和各個Key的相似性或者相關性，得到每個Key對應Value的權重系數(shù)，然后對Value進行加權求和，即得到了最終的Attention數(shù)值。所以本質(zhì)上Attention機制是對Source中元素的Value值進行加權求和，而Query和Key用來計算對應Value的權重系數(shù)。

上述過程可表示為：

注意力機制可以幫助深度學習模型關注到信號數(shù)據(jù)集的關鍵特征。本文提出的BLACN網(wǎng)絡注意力層采用的是乘性注意力。

2.2 雙向長短期記憶網(wǎng)絡Bi LSTM

Bi LSTM網(wǎng)絡是LSTM網(wǎng)絡的改進網(wǎng)絡。LSTM網(wǎng)絡憑借其記憶時序的特性，首先運用于NLP自然語言處理領域，隨后在各個領域都取得了較好的效果。通信領域中，多篇深度學習相關的論文都應用了LSTM，提高了模型的魯棒性。

LSTM又稱為長短期記憶網(wǎng)絡，為RNN循環(huán)神經(jīng)網(wǎng)絡的變種。RNN循環(huán)神經(jīng)神經(jīng)網(wǎng)絡能夠?qū)τ洃洈?shù)據(jù)的特征，但是由于網(wǎng)絡層數(shù)過多，在參數(shù)的方向傳播中產(chǎn)生了梯度爆炸的問題，因此LSTM應運而生。

LSTM的每一個隱含層都包括遺忘門、輸入門、輸出門3個“門”結構。LSTM長短期記憶網(wǎng)絡憑借3種門結構，能夠?qū)W習數(shù)據(jù)的時序特征，并且很大程度上解決了梯度爆炸的問題。

LSTM網(wǎng)絡能夠提取信號的時序特征信息，而雙向長短期記憶網(wǎng)絡BiLSTM網(wǎng)絡在提取信號時序特征情況的前提下，還可以關注信號的歷史信息，BiLSTM網(wǎng)絡結構如圖3所示。本文采用雙向LSTM網(wǎng)絡來進行模型的搭建。

圖3 BiLSTM網(wǎng)絡結構圖

2.3 BLACN網(wǎng)絡結構

本文提出的網(wǎng)絡結構是結合了上文介紹的注意力機制與雙向長短期記憶網(wǎng)絡BiLSTM的深度學習神經(jīng)網(wǎng)絡BLACN，其網(wǎng)絡結構圖如圖4所示。網(wǎng)絡首先是4層Conv卷積網(wǎng)絡，其中第1層卷積至第4層卷積皆在卷積后使用了1×2最大池化。4層卷積網(wǎng)絡后是兩層雙向長短期記憶網(wǎng)絡層(BiLSTM Layer)，來關注信號的時序信息，之后是一層注意力層(Attention Layer),來找到信號的關鍵特征用于調(diào)制方式的識別。最后就是經(jīng)過全連接層(Dense Layer)輸出11種信號調(diào)制類別的識別結果。網(wǎng)絡除輸出層采用Softmax激活函數(shù)外，其余各層皆采用ReLu激活函數(shù)。

圖4 BLACN網(wǎng)絡結構圖

網(wǎng)絡優(yōu)化過程中，采用Adam算法進行網(wǎng)絡參數(shù)的最優(yōu)解求解。

2.4 數(shù)據(jù)集制作

為了使樣本更具多樣性，考慮到實際接收信號存在多方面因素的影響，本文設置了高斯白噪聲信道環(huán)境進行數(shù)據(jù)集的制作。圖5為數(shù)據(jù)集制作流程。在研究初期，為了更好地控制信號的質(zhì)量，信號集利用Matlab平臺產(chǎn)生。

圖5 數(shù)據(jù)集制作流程圖

1）特定調(diào)制模式與隨機比特數(shù)據(jù)

仿真數(shù)據(jù)集為2×1024大小的IQ數(shù)據(jù)，本文所需識別的調(diào)制類型包含前文所說的11種常見信號。信號碼元由MATLAB生成隨機比特數(shù)據(jù)進行調(diào)制。

2）標準信號的生成

數(shù)字信號中心頻率在902 GHz，模擬信號中心頻率在100 GHz，脈沖成型濾波器采用根升余弦成型濾波器，其滾降系數(shù)為0.35，初始相位在0～2π范圍內(nèi)隨機選擇，采樣頻率是200 MHz，每個符號采樣點數(shù)為8，單個樣本長度為1 024，每一幀長度為128。

3）信道環(huán)境

本文信道環(huán)境采用高斯白噪聲信道。信噪比范圍為0～10 d B，步進為1，單載波信號每種調(diào)制方式在每種信噪比下樣本數(shù)目為500個，樣本數(shù)55 000個。

2.5 算法識別流程

根據(jù)前面的分析，本文算法識別流程如下：

1）構建網(wǎng)絡模型，利用預先制作好的訓練樣本對網(wǎng)絡進行訓練，當網(wǎng)絡達到穩(wěn)態(tài)時，保存網(wǎng)絡。

2）對于目標測試信號，通過傅里葉變換進行載頻粗估，并利用包絡譜線估計出符號速率，用估計出的載頻對信號進行下變頻，根據(jù)符號速率計算方根升余弦函數(shù)進行匹配濾波得到基帶復信號。

3）對信號進行采樣得到2×1 024的IQ信號樣本。再對處理好的數(shù)據(jù)進行歸一化處理得到待識別的信號樣本。

4）利用所保存的網(wǎng)絡對已進行預處理的信號進行調(diào)制識別，最終得到信號調(diào)制類別。

3 仿真驗證及分析

深度學習的環(huán)境語言配置為Python 3.7，Tensor-Flow 1.14.0，Keras 2.3.1，計算機設備為CPU:E5-2630,GPU:2080T。對整個數(shù)據(jù)隨機(固定隨機種子)將其劃分為訓練集和測試集，比例為8∶2；批尺寸batch size為64。

3.1 網(wǎng)絡識別性能對比

本文中定義的調(diào)制識別性能指標為：

本文采用O’Shea 2016年提出的傳統(tǒng)卷積網(wǎng)絡CNN[12]作為基線模型，對本文提出的BLACN網(wǎng)絡進行性能測試。下面給出仿真測試的結果圖，首先是3種網(wǎng)絡在不同信噪比下的信號識別率（如圖6所示）。從圖中可以看出本文提出的算法性能在一定程度上優(yōu)于其他算法。這是由于本文算法利用了雙向長短期記憶網(wǎng)絡和注意力機制關注信號的關鍵特征與時序信息，提高了信號的識別準確率。傳統(tǒng)卷積網(wǎng)絡CNN在信噪比為10 d B的情況下識別率為93%左右，而對于加入雙向長短期記憶網(wǎng)絡層的CNNBi LSTM網(wǎng)絡，在10 d B的情況下識別率能夠提升到97%左右。本文提出的BLACN網(wǎng)絡的識別效果最佳，在10 d B的情況下能夠達到99%。

圖6 不同信噪比下信號識別率

從BLACN網(wǎng)絡0 dB、5 d B、10 d B3種信噪比下的信號識別混淆的情況看，本文算法在低信噪比下仍能取得較好的性能，相移鍵控信號中QPSK，8PSK與正交振幅調(diào)制信號16QAM識別效果在低信噪比下較差。而對于幅度鍵控調(diào)制、頻移鍵控調(diào)制和模擬調(diào)制信號在0 dB條件下，識別效果仍能接近100%。

3.2 算法時間復雜度對比

表1給出了不同算法對目標信號進行識別的時間復雜度，實驗結果是對10 000個實驗樣本的結果進行統(tǒng)計平均得出的。從表中可以看出，BLACN網(wǎng)絡識別過程的時間復雜度高于CNNBi LSTM網(wǎng)絡，CNNBiLSTM網(wǎng)絡高于CNN網(wǎng)絡。這是由于網(wǎng)絡中增加的雙向長短期記憶網(wǎng)絡層和注意力層提高了網(wǎng)絡的復雜度，使算法的時間復雜度提高。但另一方面，深度學習方法得益于現(xiàn)在GPU并行運算能力的提高，神經(jīng)網(wǎng)絡大部分運算都可以并行完成。所以深度學習方法可以利用計算開銷換取計算速度，最終能夠?qū)崿F(xiàn)快速運算?？傮w可以看出，本文提出算法的信號識別時間在毫秒級別。雖然高于傳統(tǒng)CNN網(wǎng)絡，但增加的時間在可接受的范圍內(nèi)，可以達到實時性處理的要求。

表1 時間復雜度ms

4 結束語

本文提出的BLACN，是通過對信號同向正交IQ樣本進行訓練,利用卷積神經(jīng)網(wǎng)絡優(yōu)秀的特征取能力，來實現(xiàn)對復雜調(diào)制方式識別特征的提取。并通過注意力機制和雙向LSTM關注信號的關鍵特征與時序信息來提高信號的識別準確率。仿真實驗表明，相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡，識別性能有明顯的提升并且有著較好的泛化性能，證明注意力機制與雙向長短期記憶網(wǎng)絡在信號調(diào)制識別方面有著較好的效果，具有較好的應用前景和研究價值。