基于雙階段網(wǎng)絡(luò)策略對信號的分類

摘要：本文對神經(jīng)網(wǎng)絡(luò)在調(diào)制識別算法中的應(yīng)用進(jìn)行了深入研究。首先，對現(xiàn)有的調(diào)制識別方法進(jìn)行了全面梳理，分析了基于特征提取和基于神經(jīng)網(wǎng)絡(luò)的調(diào)制識別算法的優(yōu)缺點(diǎn)。在此基礎(chǔ)上，本文提出了一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)調(diào)制識別算法，以提高識別性能和適應(yīng)性。在研究過程中，發(fā)現(xiàn)基于殘差網(wǎng)絡(luò)的調(diào)制識別算法的識別精準(zhǔn)度在高速信噪比和低采樣率的情況下表現(xiàn)很差。為解決這一問題，本文提出了一種雙階段神經(jīng)網(wǎng)絡(luò)調(diào)制識別算法，該算法充分利用了神經(jīng)網(wǎng)絡(luò)在特征提取和分類方面的優(yōu)勢，實(shí)現(xiàn)了對不同調(diào)制方式的高效識別。通過對比實(shí)驗(yàn)，驗(yàn)證了本文所提出的雙階段神經(jīng)網(wǎng)絡(luò)調(diào)制識別算法的有效性。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的基于特征提取的調(diào)制識別算法和單一神經(jīng)網(wǎng)絡(luò)調(diào)制識別算法相比，本文所提出的雙階段神經(jīng)網(wǎng)絡(luò)調(diào)制識別算法在識別性能和適應(yīng)性方面均表現(xiàn)出較大的優(yōu)勢。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；調(diào)制識別；預(yù)處理；殘差網(wǎng)絡(luò)

一、引言

隨著5G技術(shù)、衛(wèi)星物聯(lián)網(wǎng)技術(shù)的研究與發(fā)展，以及無人機(jī)和軟件無線電設(shè)備的商業(yè)化應(yīng)用，越來越多的商業(yè)、個(gè)人無線電設(shè)備接入無線網(wǎng)絡(luò)。為了保證這些頻譜資源不被亂用，需要對接入某段頻譜的無線電設(shè)備進(jìn)行監(jiān)測，進(jìn)而判斷其是否為合法接入設(shè)備。因此，對數(shù)字頻譜監(jiān)測系統(tǒng)的關(guān)鍵技術(shù)研究具有十分重要的意義。然而，當(dāng)前的主流頻譜監(jiān)測系統(tǒng)只能針對一套預(yù)定義的調(diào)制方式組合進(jìn)行調(diào)制識別，當(dāng)增加新的調(diào)制識別方式時(shí)，無法快速適應(yīng)新的組合。再加上頻譜監(jiān)測系統(tǒng)的軟件架構(gòu)設(shè)計(jì)和軟件部署相對復(fù)雜，影響系統(tǒng)的可擴(kuò)展性。為此，本文設(shè)計(jì)了一套數(shù)字頻譜監(jiān)測系統(tǒng)，對基于神經(jīng)網(wǎng)絡(luò)的調(diào)制識別算法進(jìn)行了重點(diǎn)研究，并設(shè)計(jì)了數(shù)字頻譜監(jiān)測系統(tǒng)的總體架構(gòu)，實(shí)現(xiàn)了多種參數(shù)估計(jì)的功能模塊，同時(shí)優(yōu)化了系統(tǒng)的軟件部署工作。

二、基于殘差網(wǎng)絡(luò)的調(diào)制識別算法的網(wǎng)絡(luò)設(shè)計(jì)

殘差網(wǎng)絡(luò)（ResNet）的核心是表示殘差學(xué)習(xí)的殘差塊。根據(jù)殘差塊和網(wǎng)絡(luò)層數(shù)的不同，目前存在的殘差網(wǎng)絡(luò)有18層、34層、50層、101層等。本文僅選取18層、34層、50層、101層做分析對比。根據(jù)其模塊類型，可以將這四種殘差網(wǎng)絡(luò)分為兩類。其中，第一類主要是基于基礎(chǔ)模塊。基礎(chǔ)模塊主要由兩個(gè)連續(xù)的卷積層構(gòu)成，即conv3x3 - conv3x3以及激活函數(shù)（ReLU）構(gòu)成。淺層網(wǎng)絡(luò)ResNet18、ResNet34都在基礎(chǔ)模塊的基礎(chǔ)上搭建而成。另外一種是基于瓶頸模塊，主要由一個(gè)兩個(gè)升維降維卷積圍繞，即conv1x1-conv3x3-conv1x1和ReLU構(gòu)成。深層網(wǎng)絡(luò)ResNet50、ResNet101都是由瓶頸模塊搭建而成。每一層都是由若干個(gè)模塊搭建而成，然后再由每層來組成整個(gè)網(wǎng)絡(luò)。對于ResNet來說，其共同點(diǎn)在于拋開初始前兩層和最后的池化層，全連接層，均由四層組成，稱為四個(gè)主要層。

因?yàn)闅埐钌窠?jīng)網(wǎng)絡(luò)的殘差學(xué)習(xí)模塊解決了深度神經(jīng)網(wǎng)絡(luò)中隨著網(wǎng)絡(luò)深度的增加而導(dǎo)致的網(wǎng)絡(luò)退化問題，所以在ResNet中增加層數(shù)后，性能有了一定的提升。且其提升主要集中在-5dB到5dB之間，因此，后續(xù)使用ResNet網(wǎng)絡(luò)層均為101層，下文不再詳細(xì)說明。

根據(jù)上文介紹不難發(fā)現(xiàn)，不論何種類型的殘差網(wǎng)絡(luò)，始終存在類型為conv3x3的卷積層。網(wǎng)絡(luò)寬度主要依賴k，網(wǎng)絡(luò)深度則主要依賴N。根據(jù)卷積網(wǎng)絡(luò)（CNN）基本理論可知，一共有三種方法增強(qiáng)卷積層的能力，分別是改變卷積核的大小、增加卷積核的維度，以及增加卷積核的數(shù)目。根據(jù)文獻(xiàn)可知，卷積核大小3x3是十分有效的參數(shù)，故后續(xù)不再詳細(xì)討論。

三、神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)計(jì)

（一）基帶信號符號序列長度對識別率的影響

訓(xùn)練集主要涉及11種調(diào)制方式，16種信噪比。對于每種信噪比，需要生成8000個(gè)樣本，用來保證訓(xùn)練數(shù)據(jù)的充足性。每種信噪比下，每種調(diào)制方式下的無線信號共分為IQ兩路數(shù)據(jù)，每路數(shù)據(jù)均需要生成符號序列長度分別為16、128、512、1024個(gè)符號分別進(jìn)行仿真。

使用的訓(xùn)練集符號序列長度越長，神經(jīng)網(wǎng)絡(luò)的識別性能越好。當(dāng)訓(xùn)練集符號序列長度沒有達(dá)到一定數(shù)量，神經(jīng)網(wǎng)絡(luò)的識別性能非常差，這是因?yàn)闊o線信道本身按照概率分布，當(dāng)訓(xùn)練集的符號序列長度嚴(yán)重不足時(shí)，即使在高信噪比的情況下，也依然無法訓(xùn)練好神經(jīng)網(wǎng)絡(luò)，從而無法得到較好的性能。當(dāng)訓(xùn)練集的符號序列長度達(dá)到一定數(shù)量之后，即使再增加符號序列長度，也依然無法顯著提高網(wǎng)絡(luò)性能。

（二）不同采樣點(diǎn)數(shù)對識別率的影響

對于生成的數(shù)據(jù)集來說，數(shù)字調(diào)制方式的根升余弦濾波器滾降系數(shù)為0.35。每秒采樣次數(shù)（Sample Per Second， SPS）分別設(shè)置為4、8、16、32。因?yàn)橹挥胁糠謹(jǐn)?shù)字調(diào)制方式受到此參數(shù)的影響，僅僅選取數(shù)據(jù)集為BPSK、QPSK、8PSK、PAM4、QAM16、QAM64、CPFSK等七種調(diào)制方式，因此，這里的數(shù)據(jù)集和其他實(shí)驗(yàn)不一致。然后對其進(jìn)行128、512、1024采樣點(diǎn)的訓(xùn)練。

在采樣點(diǎn)數(shù)一定的情況下，通過增加訓(xùn)練數(shù)據(jù)集的sps點(diǎn)數(shù)，可以給神經(jīng)網(wǎng)絡(luò)提供信號更多的維度，從而更好地提取特征，進(jìn)而帶來識別率的提升。而當(dāng)SPS點(diǎn)數(shù)已經(jīng)足夠時(shí)，在高信噪比情況下，提升SPS點(diǎn)數(shù)對識別率的影響很小。在低信噪比下，仍然有一定的提升空間。當(dāng)SPS較小時(shí)，即使提升采樣點(diǎn)數(shù)，也無法帶來識別率的提升。相較于提高SPS點(diǎn)數(shù)與提高采樣點(diǎn)數(shù)而言，在內(nèi)存空間受限的情況下，提升SPS點(diǎn)數(shù)將帶來更高的識別提升。相比較而言，SPS點(diǎn)數(shù)設(shè)置為16基本足夠。

（三）數(shù)據(jù)集降維對識別率的影響

提升采樣點(diǎn)數(shù)與sps點(diǎn)數(shù)固然會帶來識別率的提升，但也不能設(shè)置過大，否則會導(dǎo)致網(wǎng)絡(luò)訓(xùn)練速度變慢，同時(shí)系統(tǒng)會需要更多的內(nèi)存，從而導(dǎo)致整個(gè)工程方案造價(jià)變貴。因此，本實(shí)驗(yàn)通過主元分析（Principal Component Analysis，PCA）來對數(shù)據(jù)集進(jìn)行降維，從而探究數(shù)據(jù)集降維對識別率的影響。本文的研究將數(shù)據(jù)集sps點(diǎn)數(shù)設(shè)置為16，將采樣點(diǎn)數(shù)設(shè)置為1024。

PCA降維雖然保留了特征值最大的部分，但其效果并不好，原因是對于調(diào)制信號來說，雖然保留了信號時(shí)域上的特征值，但是到了頻域效果會很差。下面直接采用降采樣的方法來降維。通過采樣定律可知，分別做2、4、8點(diǎn)的降采樣。在無線信號降采樣后，雖然會影響識別率，但相較于PCA來說，對其做一定程度降采樣后不會嚴(yán)重影響識別率。

通過本節(jié)的三個(gè)實(shí)驗(yàn)可知：當(dāng)無線信號的采樣點(diǎn)數(shù)過小時(shí)，識別性能很差。在一定程度上提高采樣點(diǎn)數(shù)有助于提高識別率。同理，sps越大，表示每個(gè)符號的樣本點(diǎn)越多，在一定程度上提高sps點(diǎn)數(shù)有助于提高識別率。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度過長常常令人詬病，本節(jié)通過對數(shù)據(jù)做PCA和降采樣分別對數(shù)據(jù)降維，得出結(jié)論：使用降采樣方法降維，識別性能更好。

（四）仿真實(shí)驗(yàn)與結(jié)果分析

在對殘差神經(jīng)網(wǎng)絡(luò)的一些超參數(shù)設(shè)置完畢之后，對基于殘差神經(jīng)網(wǎng)絡(luò)的調(diào)制識別結(jié)果進(jìn)行詳細(xì)且具體的分析。可以觀察到，在低信噪比情況下，殘差神經(jīng)網(wǎng)絡(luò)的識別結(jié)果僅僅對某幾種調(diào)制方式有較好的識別結(jié)果。在處理8PSK、AM-DSB、AM-SSB、QAM16、QAM64、WBFM、QPSK等幾種信號時(shí)，其性能均較差。在信噪比足夠高時(shí)，本節(jié)選取10dB結(jié)果。可以觀察到，明顯存在8PSK和QPSK，QAM16和QAM64，AM-DSB和WBFM信號對中三對信號之間的識別性能較差，很容易產(chǎn)生混淆，可能是神經(jīng)網(wǎng)絡(luò)對這三種信號提取的特征不夠好，以至于無法完全區(qū)分這三對信號。

隨著網(wǎng)絡(luò)訓(xùn)練次數(shù)的增加，殘差神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集和驗(yàn)證集上的損失值在不斷降低。在訓(xùn)練集上，隨著損失值的不斷下降，殘差神經(jīng)網(wǎng)絡(luò)并沒有發(fā)生過擬合現(xiàn)象。在驗(yàn)證集上，當(dāng)損失值下降到一定程度時(shí)，殘差神經(jīng)網(wǎng)絡(luò)自動進(jìn)行退火處理。

（五）改進(jìn)的基于ResNet的調(diào)制識別算法

受到?jīng)Q策樹思路的啟發(fā)與影響，本研究設(shè)計(jì)了一種雙階段網(wǎng)絡(luò)的調(diào)制識別算法。該算法主要基于以下思想：由于本章選用的是殘差神經(jīng)網(wǎng)絡(luò)，筆者觀察到，殘差神經(jīng)網(wǎng)絡(luò)在識別8PSK和QPSK，QAM16和QAM64，AM-DSB和WBFM這三種信號對時(shí)存在混淆，識別性能較差。這表明在殘差神經(jīng)網(wǎng)絡(luò)提取的特征中，這些信號對存在相似的特征。因此，筆者嘗試從神經(jīng)網(wǎng)絡(luò)的視角出發(fā)，對這些信號進(jìn)行粗分類。

具體而言，筆者將8PSK和QPSK信號看作一種調(diào)制方式，將QAM16和QAM64看作一種調(diào)制方式，將AM-DSB和WBFM看作一種調(diào)制方式。這樣，原始數(shù)據(jù)集中的標(biāo)簽由11種調(diào)制方式簡化成為8種調(diào)制方式。在第一階段，使用殘差神經(jīng)網(wǎng)絡(luò)對這8種調(diào)制方式進(jìn)行粗分類。經(jīng)過第一階段的分類后，可以得到相對準(zhǔn)確的粗分類結(jié)果。

在第二階段，針對第一階段得到的粗分類結(jié)果，對每一類信號進(jìn)行細(xì)分。例如，針對8PSK和QPSK的混合類別，可以設(shè)計(jì)一個(gè)專門針對這兩種調(diào)制方式的子網(wǎng)絡(luò)進(jìn)行識別。同樣地，也可以為QAM16和QAM64，AM-DSB和WBFM這兩類信號分別設(shè)計(jì)子網(wǎng)絡(luò)。這樣，在第二階段，可以進(jìn)一步提高信號調(diào)制識別的準(zhǔn)確性。

通過這種雙階段網(wǎng)絡(luò)的調(diào)制識別算法，可以在保持較高識別準(zhǔn)確性的同時(shí)，降低網(wǎng)絡(luò)的復(fù)雜度和計(jì)算量。同時(shí)，這種方法還具有較好的擴(kuò)展性，可以根據(jù)實(shí)際應(yīng)用場景中信號類型的變化靈活調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，以適應(yīng)不同的信號調(diào)制識別任務(wù)。如圖 1所示：

圖1 雙階段神經(jīng)網(wǎng)絡(luò)

當(dāng)數(shù)據(jù)集經(jīng)過第一階網(wǎng)絡(luò)時(shí)，整個(gè)數(shù)據(jù)集被劃分成了8種調(diào)制方式。對于諸如BPSK、CPFSK等其余5種調(diào)制方式來說，已經(jīng)被識別完畢。對于諸如8PSK和QPSK等組合信號來說，則需要經(jīng)過第二階神經(jīng)網(wǎng)絡(luò)進(jìn)行識別。因此，需要額外訓(xùn)練3種深度神經(jīng)網(wǎng)絡(luò)分別完成不同的區(qū)分任務(wù)。網(wǎng)絡(luò)1用來區(qū)分8PSK和QPSK的組合，網(wǎng)絡(luò)2用來區(qū)分AM-DSB和WBFM的組合，網(wǎng)絡(luò)3用來區(qū)分QAM16和QAM64的組合。其具體的網(wǎng)絡(luò)劃分，以及如何將那些調(diào)制方式歸為一類，則主要依賴第一階神經(jīng)網(wǎng)絡(luò)的混淆矩陣。由于數(shù)據(jù)集的復(fù)雜程度降低，第二階神經(jīng)網(wǎng)絡(luò)不需要設(shè)計(jì)諸如第一階如此復(fù)雜且深度較高的神經(jīng)網(wǎng)絡(luò)。經(jīng)過對第一階段神經(jīng)網(wǎng)絡(luò)的調(diào)整與簡化，對更加簡單的第二階段數(shù)據(jù)集設(shè)計(jì)了第二階段神經(jīng)網(wǎng)絡(luò)。其大致結(jié)構(gòu)類似18層的ResNet，但是少了一層Residual Stack，且卷積核的數(shù)目不同，均為32。Residual Stack均采用基礎(chǔ)模塊的設(shè)計(jì)。

經(jīng)過改進(jìn)的雙階段網(wǎng)絡(luò)法，不同于傳統(tǒng)方法在高信噪比下對信號的識別率能高達(dá)近99%。原因在于，為了保證該算法的通用性，本文并沒有專門設(shè)計(jì)對應(yīng)的特征和對應(yīng)的網(wǎng)絡(luò)來區(qū)分這幾種信號對，而是統(tǒng)一采用一種自己設(shè)計(jì)的簡化版本的殘差神經(jīng)網(wǎng)絡(luò)。導(dǎo)致在識別率上表現(xiàn)較差，但其在網(wǎng)絡(luò)的訓(xùn)練速度和針對信號集的通用性上有了更好的表現(xiàn)。當(dāng)面對新的數(shù)據(jù)集，即數(shù)據(jù)集的調(diào)制方式發(fā)生變化時(shí)，仍然可以套用本方法即可得到不錯(cuò)的性能表現(xiàn)，如果希望追求更為優(yōu)異的性能，則需要針對不同的數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)進(jìn)行更多的調(diào)優(yōu)。

（六）實(shí)際算法部署的實(shí)現(xiàn)

本文研究了通過殘差神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)并訓(xùn)練出高效識別信號調(diào)制模式的模型。然而，大部分從事無線通信的技術(shù)人員雖然擁有豐富的數(shù)學(xué)基礎(chǔ)和通信知識，但在軟件工程方面的實(shí)際經(jīng)驗(yàn)卻相對較少。由于缺乏對操作系統(tǒng)和GPU的開發(fā)經(jīng)驗(yàn)，以及編譯器等相關(guān)知識，導(dǎo)致在軟件部署方面容易出現(xiàn)問題，使得算法只能停留在仿真階段，無法進(jìn)行實(shí)際驗(yàn)證。

為解決這一問題，本文提出了利用虛擬化技術(shù)，特別是容器技術(shù)的解決方案，可為算法的應(yīng)用提供一個(gè)輕量的環(huán)境。這個(gè)環(huán)境只裝有深度學(xué)習(xí)算法所需的程序庫，可以保證容器內(nèi)的任何進(jìn)程的內(nèi)存安全，隔離了除本容器外的其他任何進(jìn)程或資源。同時(shí)實(shí)現(xiàn)了一份鏡像在不同版本操作系統(tǒng)的服務(wù)器下運(yùn)行，能夠極大降低部署難度。

四、結(jié)束語

本文主要研究了不同神經(jīng)網(wǎng)絡(luò)超參數(shù)對信號調(diào)制識別性能的影響。通過在不同條件下對比不同參數(shù)組合，探究了超參數(shù)和調(diào)制識別率之間的關(guān)系。為了提高識別性能，本文將決策樹算法與殘差神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，以針對不同調(diào)制識別模式的信號，確保算法具有較高的識別率。為了進(jìn)一步提高算法的實(shí)用性，本文還提到了利用虛擬化技術(shù)進(jìn)行部署的解決方案。這種方法可以減少對特定操作系統(tǒng)的依賴，降低部署難度，提高軟件的通用性和可移植性。通過虛擬化技術(shù)，可以輕松地在不同的硬件和軟件環(huán)境中部署深度學(xué)習(xí)算法，進(jìn)而促進(jìn)其在實(shí)際無線通信系統(tǒng)中的應(yīng)用。

作者單位：賈曼鑫 騰訊云計(jì)算（西安）有限責(zé)任公司

參考文獻(xiàn)

[1] Simonyan K， Zisserman A . Very Deep Convolutional Networks for Large-Scale Image Recognition [J].Computer Science， 2014.

[2] Szegedy C ， Ioffe S ， Vanhoucke V ，et al.Inception-v4， Inception-ResNet and the Impact of Residual Connections on Learning.2016[2024-10-15].

[3] 蔣道福.衛(wèi)星信號監(jiān)測系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D].西安電子科技大學(xué)， 2020.

[4] A. Wang and R. Li. Research on Digital Signal Recognition Based on Higher Order Cumulants[C]// 2019 International Conference on Intelligent Transportation， Big Data amp; Smart City （ICITBS）， Changsha， China， 2019， pp. 586-588.