數(shù)據(jù)驅(qū)動(dòng)的雙通道CNN-LSTM調(diào)制分類(lèi)算法

葛 戰(zhàn),孫 磊,李 兵,蔣鴻宇,周 劼

(中國(guó)工程物理研究院 電子工程研究所，四川 綿陽(yáng) 621900)

0 引言

通信信號(hào)的調(diào)制分類(lèi)是指能夠在具有極少先驗(yàn)信息的情況下正確確定目標(biāo)信號(hào)的調(diào)制類(lèi)型，在各領(lǐng)域均有相當(dāng)大的應(yīng)用需求[1]，作為信號(hào)盲處理相關(guān)領(lǐng)域的重要研究?jī)?nèi)容，仍有許多問(wèn)題亟待研究[2]。近年來(lái)，深度學(xué)習(xí)方法由于其在圖像識(shí)別等領(lǐng)域表現(xiàn)出的優(yōu)異性能，被引入到調(diào)制分類(lèi)這一問(wèn)題的研究當(dāng)中[3-4]。

基于深度學(xué)習(xí)的調(diào)制分類(lèi)方法能夠直接對(duì)信號(hào)進(jìn)行學(xué)習(xí)，與傳統(tǒng)基于信號(hào)特征的方法(如瞬時(shí)特征[5]、高階累積量[6]以及循環(huán)譜等[7])相比，無(wú)需人工提取分類(lèi)特征，減少了信號(hào)預(yù)處理步驟，具有一定的應(yīng)用優(yōu)勢(shì)。文獻(xiàn)[8]首先提出采用二維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)直接從時(shí)域數(shù)據(jù)中學(xué)習(xí)信號(hào)的調(diào)制類(lèi)型，但識(shí)別結(jié)果不甚理想。文獻(xiàn)[9]采用一維CNN實(shí)現(xiàn)信號(hào)的分類(lèi)，與二維CNN相比有效降低了訓(xùn)練時(shí)間。文獻(xiàn)[10-11]采用長(zhǎng)短時(shí)記憶(Long Short-Term Memory，LSTM)網(wǎng)絡(luò)對(duì)時(shí)域數(shù)據(jù)進(jìn)行訓(xùn)練實(shí)現(xiàn)調(diào)制分類(lèi)，有效提升了識(shí)別率，但訓(xùn)練時(shí)間相對(duì)較長(zhǎng)，同時(shí)文中考慮的信號(hào)長(zhǎng)度僅為128，若信號(hào)過(guò)長(zhǎng)會(huì)造成LSTM網(wǎng)絡(luò)出現(xiàn)梯度消失等問(wèn)題。

1 信號(hào)模型及信號(hào)表示

1.1 信號(hào)模型

假設(shè)接收信號(hào)已經(jīng)經(jīng)過(guò)預(yù)處理、匹配濾波等步驟，其解析形式可表示如下：

r(n)=αe-j(2πf0+θ0)x(n)+ω(n)，

(1)

式中，r(n)為接收符號(hào)；x(n)為發(fā)送符號(hào)，來(lái)自某一調(diào)制樣式，假設(shè)服從獨(dú)立同分布并進(jìn)行了能量歸一化；ω(n)是功率為σ2的加性高斯白噪聲；α，f0和θ0為信號(hào)的幅度、頻率估計(jì)誤差和相位估計(jì)誤差。

1.2 信號(hào)表示

由于深度神經(jīng)網(wǎng)絡(luò)一般需采用實(shí)值作為輸入，而接收信號(hào)經(jīng)過(guò)預(yù)處理后為復(fù)序列數(shù)據(jù)。因此，在采用深度神經(jīng)網(wǎng)絡(luò)直接從接收數(shù)據(jù)中學(xué)習(xí)時(shí)，首先需要確定合適的數(shù)據(jù)表示形式，以滿(mǎn)足網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)格式的要求。根據(jù)復(fù)序列數(shù)據(jù)的特點(diǎn)，可以把接收信號(hào)分解為由實(shí)部(I路)和虛部(Q路)組成的實(shí)序列。

假設(shè)一個(gè)符號(hào)周期內(nèi)的接收信號(hào)為r(k)=[r(1),r(2), …,r(N)]，其實(shí)部和虛部分別表示為R(r(k))和I(r(k))。按照上述描述可以將r(k)表示為N×2維(N為信號(hào)長(zhǎng)度)的矩陣數(shù)據(jù)(IQ數(shù)據(jù))作為深度神經(jīng)網(wǎng)絡(luò)的輸入，即：

(2)

2 算法設(shè)計(jì)

2.1 CNN-LSTM模型

提出的用于調(diào)制分類(lèi)的CNN-LSTM模型結(jié)構(gòu)如圖1所示。模型主要由輸入數(shù)據(jù)、CNN模塊、LSTM模塊以及分類(lèi)模塊組成。

圖1 提出的CNN-LSTM模型結(jié)構(gòu)Fig.1 Proposed CNN-LSTM network structure

輸入數(shù)據(jù)：信號(hào)被轉(zhuǎn)換為由實(shí)部(I路)和虛部(Q路)組成的實(shí)序列，即IQ數(shù)據(jù)，表示形式為N×2，然后被送入至CNN模塊。

CNN模塊：用于提取信號(hào)的空間特征信息[13]。模塊由2個(gè)CNN子模塊組成，每個(gè)子模塊均由3組一維卷積層和3個(gè)池化層串聯(lián)組成。圖1中卷積塊1～3的通道數(shù)依次為64，32和24，卷積核大小均為1，激活函數(shù)為ReLU。池化層采用大小為2的平均池化，用于進(jìn)一步縮減網(wǎng)絡(luò)參數(shù)。

從研究進(jìn)程來(lái)看 我國(guó)深度學(xué)習(xí)的真正研究始于2005年，2010年后相關(guān)研究日漸增多，2013—2017年一直保持逐年增長(zhǎng)的研究態(tài)勢(shì)。隨著國(guó)內(nèi)外深度學(xué)習(xí)的專(zhuān)注度及學(xué)習(xí)科學(xué)的發(fā)展，從近幾年的研究成果可以看出，國(guó)內(nèi)深度學(xué)習(xí)研究從初期關(guān)于學(xué)習(xí)概念、內(nèi)涵的技術(shù)研究，到目前實(shí)踐與應(yīng)用研究，研究主題呈現(xiàn)本土化，包括基于翻轉(zhuǎn)課堂、移動(dòng)教學(xué)、MOOC、SPOC等個(gè)案探索實(shí)驗(yàn)，均體現(xiàn)了深度學(xué)習(xí)在國(guó)內(nèi)的持續(xù)發(fā)展。

模型中2個(gè)CNN模塊采用相同的參數(shù)，其中卷積操作和池化過(guò)程為[9]：

(3)

(4)

2個(gè)CNN模塊同時(shí)從輸入IQ數(shù)據(jù)中各自提取空間特征信息，經(jīng)過(guò)融合后被送入LSTM模塊。

LSTM模塊：用于提取信號(hào)的時(shí)序特征信息[14]。LSTM網(wǎng)絡(luò)中采用存儲(chǔ)單元代替常規(guī)神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，每個(gè)存儲(chǔ)單元通常由多個(gè)記憶細(xì)胞ot和3個(gè)控制門(mén)組成(分別為輸入門(mén)it、遺忘門(mén)ft和輸出門(mén)ot)[15]。本文采用一層LSTM網(wǎng)絡(luò)從雙通道CNN模塊提取的空間信息中進(jìn)一步提取時(shí)序信息，有效利用了2種網(wǎng)絡(luò)的各自?xún)?yōu)勢(shì)。LSTM網(wǎng)絡(luò)各狀態(tài)的更新過(guò)程為[16]：

(5)

式中，wi，wf，wo和bi，bf，bo分別表示輸入門(mén)、遺忘門(mén)和輸出門(mén)的權(quán)重和偏置；σ為Sigmoid激活函數(shù)。

分類(lèi)模塊：采用單層全連接層實(shí)現(xiàn)(神經(jīng)元為128)，以Softmax作為激活函數(shù)，通過(guò)對(duì)整個(gè)網(wǎng)絡(luò)訓(xùn)練得到調(diào)制分類(lèi)結(jié)果。

2.2 訓(xùn)練過(guò)程

實(shí)驗(yàn)中網(wǎng)絡(luò)結(jié)構(gòu)由TensorFlow2.4深度學(xué)習(xí)框架搭建，優(yōu)化器為ADAM。訓(xùn)練過(guò)程中會(huì)將分類(lèi)器的輸出與樣本對(duì)應(yīng)的標(biāo)簽信息進(jìn)行比較，采用反向傳播法迭代更新網(wǎng)絡(luò)參數(shù)以使得損失函數(shù)最小，其中損失函數(shù)由交叉熵確定：

(6)

式中，m，j，k分別為樣本數(shù)量、樣本標(biāo)簽以及調(diào)制種類(lèi)；q(·)為指示函數(shù)；lnp(·)為樣本zi的概率。

模型訓(xùn)練的初始學(xué)習(xí)率、批處理大小和迭代次數(shù)分別設(shè)置為0.001，100和50。訓(xùn)練中采取變更學(xué)習(xí)率和提前終止策略，當(dāng)網(wǎng)絡(luò)模型在驗(yàn)證集上的損失變化連續(xù)5個(gè)epoch小于0.001時(shí)學(xué)習(xí)率縮減10倍，連續(xù)10個(gè)epoch小于0.001時(shí)則停止訓(xùn)練，上述策略有助于提升訓(xùn)練精度并減少訓(xùn)練時(shí)間。

3 算法仿真及分析

3.1 數(shù)據(jù)集構(gòu)建

采用深度神經(jīng)網(wǎng)絡(luò)解決分類(lèi)問(wèn)題時(shí)，需要產(chǎn)生訓(xùn)練所需的訓(xùn)練樣本、驗(yàn)證樣本和測(cè)試樣本。其中，訓(xùn)練樣本和驗(yàn)證樣本用于模型的訓(xùn)練和驗(yàn)證，測(cè)試樣本用于模型訓(xùn)練完畢后分類(lèi)性能的測(cè)試。本次仿真共產(chǎn)生5種經(jīng)過(guò)標(biāo)注的信號(hào)(BPSK，QPSK，8PSK，16QAM，64QAM)。信噪比為0～20 dB，每種信號(hào)每隔1 dB產(chǎn)生1 000個(gè)樣本，其中800個(gè)樣本用于訓(xùn)練，200個(gè)樣本用于驗(yàn)證。信號(hào)樣本標(biāo)簽采用one-hot編碼格式。測(cè)試樣本按照上述形式單獨(dú)產(chǎn)生，每種調(diào)制樣式每隔2 dB產(chǎn)生600個(gè)測(cè)試樣本。

3.2 整體性能分析

對(duì)提出的調(diào)制分類(lèi)算法進(jìn)行仿真實(shí)驗(yàn)，假設(shè)信號(hào)頻偏和相偏已被準(zhǔn)確估計(jì)，但信噪比未知。信號(hào)長(zhǎng)度分別為128，256和512，實(shí)驗(yàn)結(jié)果如圖2所示。可以看出，隨著信號(hào)長(zhǎng)度的增加，識(shí)別率也在提升。在0～20 dB,3種不同信號(hào)長(zhǎng)度對(duì)應(yīng)的平均識(shí)別率依次為84.6%，86.3%和88.3%，表明信號(hào)長(zhǎng)度的增加有助于神經(jīng)網(wǎng)絡(luò)特征的提取。

信號(hào)長(zhǎng)度為128時(shí)，各信號(hào)的識(shí)別率如圖3所示。可以看出，BPSK和QPSK在低信噪比時(shí)仍具有較優(yōu)的識(shí)別性能，即使0 dB時(shí)BPSK的性能依然為100%，而QPSK在4 dB時(shí)也能夠接近100%。此外，在低信噪比時(shí)，64QAM相比16QAM得到了較高的識(shí)別性能，說(shuō)明本文提出的算法能夠從64QAM中學(xué)習(xí)到更加明顯的分類(lèi)信息。

圖3 各信號(hào)的識(shí)別性能Fig.3 Classification performance of each signal

3.3 存在估計(jì)誤差時(shí)的性能分析

考慮到實(shí)際信號(hào)預(yù)處理過(guò)程中可能存在相位偏移和頻率偏移等估計(jì)誤差，將驗(yàn)證該條件下提出算法的識(shí)別性能。設(shè)信號(hào)的信噪比為4 dB，相偏為-20°～20°，頻偏為0～3×10-4。重新生成測(cè)試集，其中相偏的間隔為5°，頻偏的間隔為5×10-5。采用3.2節(jié)中已訓(xùn)練完成的模型對(duì)存在估計(jì)誤差的測(cè)試樣本進(jìn)行測(cè)試。圖4和圖5分別為存在相偏和頻偏時(shí)不同信號(hào)長(zhǎng)度的識(shí)別性能。

圖4和圖5中，相偏在-10°～10°及頻偏小于1×10-4時(shí)，識(shí)別性能所受影響不大，說(shuō)明提出的深度神經(jīng)網(wǎng)絡(luò)算法對(duì)相位和頻率偏移有一定的冗余度。圖4中隨著相偏的繼續(xù)增加，識(shí)別性能開(kāi)始大幅下降，此時(shí)模型對(duì)信號(hào)估計(jì)誤差的適應(yīng)能力逐漸變差。圖5中隨著信號(hào)長(zhǎng)度的增加對(duì)頻偏的容忍度則越差，主要是由于信號(hào)長(zhǎng)度的增加使得信號(hào)旋轉(zhuǎn)更為明顯，造成識(shí)別困難。

圖4 存在相偏時(shí)的識(shí)別性能Fig.4 Classification performance in the presence of phase offset

3.4 不同深度神經(jīng)網(wǎng)絡(luò)的性能分析

將提出的算法(采用C-L表示)與現(xiàn)有幾種深度神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對(duì)比。文中C-L模型為了同時(shí)利用CNN與LSTM分別在空間和時(shí)序上的特征提取能力，采用了由雙通道一維CNN和LSTM相互串聯(lián)的形式，因此一個(gè)比較直觀(guān)的想法是，驗(yàn)證所提出模型與模型組成中的CNN和LSTM相比有多少性能的提升。同樣，文獻(xiàn)[17]為了利用2種網(wǎng)絡(luò)的各自?xún)?yōu)勢(shì)，提出了一種由CNN和LSTM相互并聯(lián)的結(jié)構(gòu)實(shí)現(xiàn)調(diào)制分類(lèi)，本節(jié)也將其引入進(jìn)行性能對(duì)比。綜上，將提出的C-L方法與圖1中的CNN子模塊、LSTM以及二者并聯(lián)的方法(采用C&L表示)進(jìn)行對(duì)比，3種模型中CNN和LSTM的參數(shù)與C-L模型一致。

4種網(wǎng)絡(luò)結(jié)構(gòu)在0～20 dB的平均識(shí)別率如表1所示。從表1可以看出，C-L在識(shí)別性能上優(yōu)于其他幾種深度神經(jīng)網(wǎng)絡(luò)方法。由此可見(jiàn)，采用CNN和LSTM串聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)相比單獨(dú)采用CNN或LSTM，能夠同時(shí)利用二者的特征提取能力，有效提升了調(diào)制分類(lèi)的性能，而同樣采用二者相結(jié)合的并聯(lián)結(jié)構(gòu)(C&L)性能上則相對(duì)較差。

表1 不同深度神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率Tab.1 Average classification performance of different deep neural networks

表2列舉了4種網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度，包括模型的參數(shù)量、浮點(diǎn)計(jì)算次數(shù)以及迭代時(shí)間。從表2可以看出，由雙通道CNN和LSTM組成的C-L模型在參數(shù)量和浮點(diǎn)計(jì)算次數(shù)上均小于單獨(dú)的CNN模型，但迭代時(shí)間相對(duì)較高。主要原因是C-L模型中CNN提取出的空間特征會(huì)被送入至參數(shù)較少的LSTM，相比較直接送入全連接網(wǎng)絡(luò)減少了網(wǎng)絡(luò)連接數(shù)量，但雙通道CNN結(jié)構(gòu)以及LSTM均會(huì)使得迭代時(shí)間有所增加。同時(shí)可以得到，與同樣采用2種網(wǎng)絡(luò)相結(jié)合的C&L并聯(lián)結(jié)構(gòu)相比，C-L串聯(lián)結(jié)構(gòu)不僅具有識(shí)別性能上的優(yōu)勢(shì)，同時(shí)還具有計(jì)算復(fù)雜度上的優(yōu)勢(shì)。

表2 不同深度神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度Tab.2 Computational complexity of different deep neural networks

3.5 網(wǎng)絡(luò)參數(shù)對(duì)識(shí)別性能的影響

本節(jié)驗(yàn)證了深度模型的網(wǎng)絡(luò)參數(shù)對(duì)識(shí)別性能的影響。現(xiàn)有文獻(xiàn)采用一維CNN對(duì)IQ數(shù)據(jù)進(jìn)行學(xué)習(xí)時(shí)，常采用的卷積核大小為3[9]，本文根據(jù)IQ數(shù)據(jù)的特點(diǎn)(其形式為N×2)，采用大小為1的卷積核，這樣每個(gè)卷積核會(huì)與每個(gè)數(shù)據(jù)執(zhí)行卷積操作，達(dá)到提取輸入數(shù)據(jù)完整信息的目的。同時(shí)與單通道CNN-LSTM結(jié)構(gòu)進(jìn)行比較，驗(yàn)證了雙通道的有效性。基于上述描述，得到了4種具有不同參數(shù)的網(wǎng)絡(luò)模型，其實(shí)驗(yàn)結(jié)果如表3所示，其中“C1-L-k3”表示單通道，卷積核大小為3，“C2-L-k3”表示雙通道，卷積核大小為3，其他2種表示以此類(lèi)推。

表3 網(wǎng)絡(luò)參數(shù)對(duì)識(shí)別率的影響(N=128)Tab.3 Influence of network parameters on classification performance (N=128)

由表3可以看出，雙通道結(jié)構(gòu)的識(shí)別性能優(yōu)于單通道結(jié)構(gòu)，表明2路CNN組成的雙通道結(jié)構(gòu)能夠提取出更多不同的特征信息，有助于分類(lèi)。卷積核大小為1時(shí)優(yōu)于大小為3時(shí)，其中雙通道結(jié)構(gòu)性能提升0.6%，單通道提升1.5%。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠有效改善調(diào)制分類(lèi)性能。

3.6 與傳統(tǒng)方法性能對(duì)比

為進(jìn)一步驗(yàn)證C-L方法的分類(lèi)性能，將其與現(xiàn)有的傳統(tǒng)方法進(jìn)行比較。文獻(xiàn)[18]給出了理想環(huán)境下信號(hào)調(diào)制樣式分類(lèi)的理論極限，稱(chēng)為極大似然方法(記為“ML”)，常作為其他方法的比較標(biāo)準(zhǔn)。文獻(xiàn)[19]采用模糊C均值聚類(lèi)算法和全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)5種信號(hào)進(jìn)行分類(lèi)(記為“FCM”)。本節(jié)實(shí)現(xiàn)了上述2種方法，同時(shí)參照文獻(xiàn)[6]采用4階和6階累積量以及全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)本文調(diào)制樣式的分類(lèi)(記為“CUM”)。信號(hào)長(zhǎng)度為512，信噪比未知時(shí)，4種方法的識(shí)別性能如圖6所示。

圖6 信噪比未知時(shí)不同方法的性能對(duì)比(N=512)Fig.6 Performance comparison of different methods when SNR is unknown (N=512)

從圖6可以看出，ML方法性能最優(yōu)，C-L方法在低信噪比時(shí)性能略低于CUM方法，隨著信噪比的增加，性能逐漸提升。FMC方法在低信噪比時(shí)性能最差，當(dāng)信噪比大于10 dB時(shí)優(yōu)于CUM方法。經(jīng)計(jì)算，4種方法的平均識(shí)別率分別為93.4%，88.3%，84.2%和79.9%(依次為ML，C-L，CUM和FCM)。

為測(cè)試信噪比對(duì)分類(lèi)性能的影響，把信號(hào)樣本對(duì)應(yīng)的信噪比引入至所提出的模型。由于信噪比為標(biāo)量數(shù)據(jù)，不宜直接送入至神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。因此，首先把信噪比送入至單層全連接層(神經(jīng)元為10)進(jìn)行編碼，然后再與圖1中2個(gè)CNN子模塊的輸出相融合，最后再送入LSTM進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果如圖7所示。由圖7可以看出，C-L方法在性能上接近ML方法，整體優(yōu)于FCM和CUM方法，但在低信噪比時(shí)CUM會(huì)得到較好的性能，因此后續(xù)應(yīng)考慮將2個(gè)特征相結(jié)合的識(shí)別方法。經(jīng)計(jì)算，4種方法的平均識(shí)別率分別為93.4%，92.4%，90.8%和86.5%(依次為ML，C-L，CUM和FCM)。與上一實(shí)驗(yàn)對(duì)比可得，信噪比有助于調(diào)制樣式的分類(lèi)，因此實(shí)際中應(yīng)該盡可能估計(jì)出信噪比。

圖7 信噪比已知時(shí)不同方法的性能對(duì)比(N=512)Fig.7 Performance comparison of different methods when SNR is known (N=512)

4 結(jié)束語(yǔ)

本文采用數(shù)據(jù)驅(qū)動(dòng)的方式直接以信號(hào)的時(shí)域數(shù)據(jù)作為深度神經(jīng)網(wǎng)絡(luò)的輸入實(shí)現(xiàn)了對(duì)5種調(diào)制信號(hào)的分類(lèi)。提出了一種基于雙通道一維CNN和LSTM相互串聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)利用CNN在空間上以及LSTM在時(shí)序上2個(gè)不同維度的特征提取能力進(jìn)行聯(lián)合學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，CNN與LSTM相互串聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)更加有利于特征信息的提取，相比較單獨(dú)采用CNN，LSTM以及二者之間的并聯(lián)結(jié)構(gòu)，在識(shí)別性能上均有一定的提高；采用雙通道CNN模塊以及減小卷積核大小的操作更有利于特征信息的挖掘。此外，通過(guò)和傳統(tǒng)基于高階累積量以及聚類(lèi)特征的方法相比，提出的方法無(wú)需人工提取分類(lèi)特征且性能上也有較大的優(yōu)勢(shì)。