基于域適應神經網絡的調制方式分類方法

史蘊豪, 許 華, 單俊杰

(1.空軍工程大學信息與導航學院，西安，710077; 2.93656部隊,北京，101114)

通信調制識別技術對提升通信對抗效率具有十分重要的意義。通過調制識別技術可輔助確定敵軍通信源類別，進而可以對敵電臺威脅程度做出評估。傳統的通信調制識別技術主要是基于通信信號的時頻分布、瞬時幅度、相位、頻率、高階統計量、循環譜、信息熵等作為分類特征參數，例如Azzouz[1]等利用信號瞬時特征識別不同的數字信號，Swami[2]提出了將信號四階統計量作為分類特征，文獻[3]使用高階累積量對8類調制信號進行識別，文獻[4]混合多種循環譜與高階累積量特征對信號進行分類，文獻[5～6]使用信號熵特征對不同調制信號進行分類。在分類器構造方面，學者們也提出了多種分類器，Dobre等[7]提出了二元判決樹分類器，龔曉潔等[8]利用支持向量機對信號手工特征進行分類,實現了多類信號調制方式識別。歸根結底，通信信號的調制識別問題可以歸結為模式分類問題，即根據提取的特征參數結合分類器進行的分類過程[9]。

與早期手動提取特征識別信號類別的方法不同，卷積神經網絡可以通過構建多個卷積層來自動提取信號深層次的特征并對信號分類。近些年國內外許多學者在信號調制識別方面取得了不錯的成果,例如Rajendran[10]等人使用深度卷積神經網絡提取信號時頻特征并分類識別，在衰落信道下有較高的識別率，O'Shea[11]等人使用VGG深度卷積神經網絡結合ResNet殘差網絡將分類的調制樣式數目提升到了24種并取得了不錯的分類效果。Jeong[12]等人利用短時傅里葉變換生成信號時頻圖像，并利用深度卷積神經網絡提取時頻域圖像特征，最終完成了對7種調制識別方式的識別，且在信噪比為-4 dB時仍有90%以上的識別率。Meng[13]等人提出了深度神經網絡聯合噪聲估計的調制方式識別算法，該算法設計了一種特殊的網絡結構，將原始信號數據和信噪比同時作為神經網絡的輸入，仿真結果顯示該算法識別率已經非常接近理論識別率的上限。Zufan Zhang[14]等人利用卷積神經網絡提取信號SPWVD時頻圖特征和BJD時頻圖特征并與大量手工特征融合對8種調制方式進行識別，在-4 dB時仍有92.5%的識別準確率。

雖然基于深度卷積神經網絡的調制方式識別技術具有較高的識別率和魯棒性，但是當測試集樣本與訓練集樣本存在分布差異時，利用訓練集樣本訓練出的網絡模型對測試集樣本的識別率則會明顯降低。而在實際戰場環境中，接收端收到的信號總是與訓練網絡模型所用信號存在一定的分布差異，此時使用預先訓練好的神經網絡就很難準確識別新收到的信號，因此無法滿足現代戰爭的作戰需求。

本文假設網絡訓練過程中存在帶標簽的源域訓練樣本和無標簽的目標域測試樣本，且源域樣本與目標域樣本存在一定分布差異。本文擬通過訓練改進型深度卷積神經網絡，提升無標簽的目標域樣本的識別性能。

1 基于域適應網絡的調制識別模型

針對實際遇到的待測樣本與訓練樣本存在分布差異的情況，本文解決該問題的核心思想是將已有的帶標簽信號樣本結合沒有標簽的目標域信號樣本，對域適應神經網絡進行訓練，通過自編碼器降維技術結合域適應技術縮小源域帶標簽樣本與目標域無標簽樣本的分布差異，從而達到對目標域無標簽樣本的分類識別。訓練、測試流程見圖1。

圖1 訓練、測試流程圖

1.1 特征提取模塊

在實際戰場復雜信道環境下，通信信號時域特征很容易受到敵方和噪聲等的干擾和影響，從而影響信號本質表征和模式類別之間的差異，不利于做出正確的判決。時頻分析在處理信號方面表現出巨大的優勢，它能清晰地反應信號有意調制的規律[15]。目前利用時頻分析理論分析信號的方法有很多，比如小波變換，短時傅里葉變換(STFT)[16]，Wigner-Wile變換[17],Choi-Willams變換[18]等，它們在分析不同信號時各自都有自己的優勢。由于本文擬識別的信號為相位瞬變信號，它們的相位隨著數字信息的不同會發生瞬變，而小波變換在捕捉信號瞬變信息上具有非常好的性能，因此本文采用小波變換對信號進行時頻分析。小波變換的數學定義表達式如式(1)所示:

WTf(a,τ)=〈f(t),φa,τ(t)〉=

(1)

信號經過小波變換后，其系數絕對值WTf(a,τ)在一定程度上可以表示信號的特征，因此本文將信號小波變換后的系數絕對值WTf(a,τ)繪圖并在圖像域進行處理。

由于需要在圖像域進行分析處理，因此本文選用對圖像處理能力較強的VGG16[19]網絡提取圖像特征。VGG16輸入的是多通道圖像，輸入依次通過一系列的卷積層以提取圖像深層次的特征，每2～3個連續的卷積層后會接1個池化層，用于減小網絡參數規模防止過擬合。經過多層堆疊的卷積層和池化層后，會接入3層全連接層，最后一層全連接層輸出為1 000維特征。VGG16的網絡模型如圖2所示。在每一塊處理單元中，VGG16卷積層的卷積核大小為3×3，核的滑動步長為1。每一塊處理單元后還要接一個2×2大小的池化層。VGG16中的每一個卷積層、全連接層后面均使用ReLU作為激活函數，在部分全連接層后面還應用了dropout技術用于提高網絡對測試樣本的泛化能力,防止網絡過擬合。VGG16相比之前比較先進的網絡結構例如AlexNet[20]等，識別錯誤率大幅降低，且其具有很強的泛化性和可拓展性，能夠很便捷地遷移到其他圖片數據上[21]。

圖2 VGG16網絡模型示意圖

1.2 自編碼器

自編碼器是一種無監督的機器學習方法，由編碼器和解碼器構成，它可以實現在對高維數據壓縮的同時盡可能地保留特征信息，例如Elyor[22]等人利用自編碼器構建語義嵌入層實現零樣本識別，文獻[23]利用稀疏自編碼器實現7類調制信號的識別。自編碼器可通過維度小于輸入層的隱藏層表達輸入層，并在輸出層重構輸入層，從而達到數據降維的目的。

本文使用的自編碼器僅包含一層隱藏層，隱藏層的維度小于輸入層。自編碼器的輸入X是VGG16第1個全連接層后輸出的4 096維特征，隱藏層S設置有100個神經元，輸入層與隱藏層、隱藏層與輸出層均采取全連接的方式。假設輸入層到隱藏層的映射矩陣為W，隱藏層到輸出層的映射矩陣為W*,W與W*是對稱矩陣，即W=W*。由于期望輸出層與輸入層的值盡可能的相似，以此作為訓練的約束條件，因此自編碼器的目標函數可以表示為：

(2)

通過最小化目標函數，從而利用100維隱層向量表達4 096維特征向量，達到特征降維的目的。

1.3 域適應技術

域適應技術是遷移學習中一種常見的方法，可以利用帶標簽的源域數據來提升目標域模型的分類性能[24]。本文所設計的網絡是一個分類識別的模型，可通過域適應的方法將源域信號特征知識遷移到目標域信號特征上，以此實現目標域信號分類性能的提升。圖3為域適應過程示意圖。

圖3 域適應過程示意圖

通過特征提取模塊結合自編碼器對信號特征提取之后，計算源域特征與目標域特征之間的CORAL損失。CORAL損失是一個衡量不同域之間分布距離的方法，可用于衡量2個域之間的相似性。下面描述單個特征層在2個域之間的損失定義[25]。

(3)

(4)

(5)

式中：1表示所有元素全為1的d維列向量。

輸入特征的梯度可由以下鏈式法則求得：

(6)

(7)

通過梯度下降、反向傳播便可不斷優化目標函數。

1.4 識別模型

本文提出的識別模型以VGG16網絡為主體，網絡輸入源域信號小波變換系數圖像、源域標簽LS和沒有標簽的目標域信號小波變換系數圖像進行訓練，從而達到識別目標域圖像的目的。源域和目標域的域適應在自編碼器隱層來實現，輸入的源域、目標域圖像首先通過VGG16網絡提取第1個全連接層的4 096維特征，之后高維特征進入自編碼器進行特征降維，生成100維的源域隱層特征xT、和目標域隱層特征xS，之后計算這2個隱層特征之間的CORAL損失，最終將2個特征間的分布損失和源域圖像產生的分類損失組合在一起作為網絡聯合優化的目標。在訓練過程中，帶標記的源域樣本用來計算分類的損失，而計算CORAL損失則需要所有輸入數據參與，其中包括沒有標記的目標域樣本。模型的損失函數定義如下：

L(yi,y)=Lclass(yi,y)+μlCORAL+

(8)

式中：Lclass(yi,y)表示源域信號產生的分類損失，μ為CORAL損失的權重，用于控制其和分類損失的比重。

網絡結構如圖4所示。網絡對所有的源域和目標域圖像進行聯合訓練，分類損失優化全部網絡參數，而CORAL損失僅優化第1個全連接層和隱藏層之間的參數矩陣W。通過梯度下降優化使得總的損失函數最小，從而得到最優模型。訓練后的模型可直接對目標域圖像進行識別分類。

圖4 網絡結構示意圖

2 仿真實驗及分析

本文實驗均基于Python下的Tensorflow、Keras深度學習框架實現，硬件平臺為Intel(R)Core(TM)i7-8700CPU，GPU為NVIDIA GeForce 1060Ti。實驗所用信號樣本均采用matlabR2016a仿真生成，使用軟件中的CWT(Continous 1-D Wavelet Transform,CWT)函數對信號進行小波變換，選擇其中的db4小波，生成其小波系數圖并保存。

仿真生成{8QAM、16QAM、32QAM、64QAM、128QAM、256QAM、2PSK、4PSK、8PSK、2-FSK、4-FSK、8-FSK}共計12類信號，每個類別1 000個樣本，共計12 000個樣本。圖5(a)～(c)分別表示8QAM、2PSK、2-FSK在8 dB高斯信道下的小波系數圖，各圖分別代表信號序列進行離散小波變變換后，其小波系數的絕對值與時延和頻率的關系。

圖5 信號小波系數圖

2.1 不同信號間域適應分類

本節利用6類M-QAM調制方式的信號進行域適應，信噪比為8 dB，信道為高斯噪聲信道。選取6種M-QAM信號中的任意3種作為源域有標簽樣本，其余3種作為目標域無標簽樣本。在對網絡訓練的過程中，每批(batch)將60張圖片送入網絡,其中源域、目標域各30張，因此在計算CORAL損失時，NS=NT=30。損失函數中設置λ=μ=1。在更新優化損失函數時采用Adam優化器進行迭代優化。對比不加入域適應直接分類、通過域適應后再分類2種實驗的效果。不加入域適應分類是用源域帶標簽數據訓練網絡然后直接對目標域進行識別，域適應分類是指聯合源域、目標域數據訓練網絡后，再對目標域樣本進行分類識別。

圖6為目標域樣本識別正確率曲線，在上述仿真中，各個實驗包含10次迭代循環，通過結果可以看出，在最開始的幾輪迭代中，未加入域適應技術的網絡識別率要高于域適應網絡的識別率，造成這種現象的原因是一開始訓練時使用域適應技術的總損失較高，但是隨著迭代次數的不斷增加，網絡參數不斷優化，加入域適應技術網絡的識別率逐漸高于未加入域適應方法的網絡。

圖6 目標域QAM信號識別率曲線

圖7表示當測試集為8/16/128QAM時，訓練過程中分類損失與CORAL損失的變化趨勢，可以看出隨著迭代優化2類損失之和在不斷減小。

圖7 Loss曲線

此外，本節使用高斯信道下信噪比為8 dB的8-QAM、32-QAM、128-QAM作為源域數據集，高斯信道下信噪比為8 dB的2PSK、4PSK、8PSK信號作為目標域數據集進行分類識別，共計50次迭代循環。如圖8所示，通過M-PSK信號的分類識別實驗可以看出，在網絡迭代15次后，加入域適應技術的網絡識別率逐漸高于沒有加入域適應技術的網絡。圖9表示網絡迭代過程中2類損失的變化趨勢，可見隨著網絡不斷迭代優化，CORAL損失、分類損失以及二者之和都在不斷減小。

圖8 2/4/8PSK為測試集

圖9 Loss曲線

最后，對于不同類別信號類別間的域適應分析，使用高斯信道下信噪比為8 dB的8-QAM、32-QAM、128-QAM信號作為源域數據集，高斯信道下信噪比為8 dB的2-FSK、4-FSK、8-FSK信號作為目標域數據集進行測試，共計50次迭代。

仿真結果如圖10所示，通過M-FSK信號的分類識別效果可以看出，在網絡迭代50個周期后，加入域適應技術的網絡識別率與未加入域適應技術的網絡識別率相差不大。

圖10 2/4/8FSK為測試集

2.2 不同信道下域適應分類

本節使用6類信號{8-QAM、32-QAM、128-QAM、2-FSK、4-FSK、8-FSK}在瑞利噪聲信道下的小波系數圖像作為目標域,利用8 dB高斯噪聲信道下的這6類信號對其進行域適應訓練，共計30次迭代，目標域信號識別率曲線如圖11所示。

圖11 瑞利信道識別率曲線

通過圖11的識別率曲線可以看出，通過域適應后網絡對陌生信道的識別性能有一定提升。

2.3 不同信噪比條件下域適應分類

本節使用6類信號{8-QAM、32-QAM、128-QAM、2-FSK、4-FSK、8-FSK}在0 dB高斯噪聲信道下的小波系數圖像作為目標域，利用這6類信號在8 dB條件下的訓練樣本對0 dB進行域適應訓練，對比8 dB條件下的信號識別率，0 dB條件下不加入域適應技術的識別率，0 dB條件下加入域適應技術后再的識別率，實驗共計30次迭代，識別率曲線如圖12所示。

圖12 不同信噪比條件識別準確率曲線

通過圖12的識別率曲線可以看出，通過域適應后可提升模型在低信噪比條件下的識別性能。

對照上述實驗可以得出，在本文的識別模型下，當目標域信號與源域信號特征空間相似，例如2.1中3類目標域樣本與源域樣本均是M-QAM信號，僅僅是調制參數不同，則通過域適應技術提升目標域信號的識別準確率效果非常明顯，通過簡單幾次迭代便可取得不錯的結果；若目標域信號與源域信號特征空間有一定差距時，例如目標域M-PSK信號與源域M-QAM信號，則通過域適應技術對目標域樣本識別率的提升不明顯，但隨著迭代次數的不斷增加，加入域適應技術識別率逐漸優于未加入域適應技術的識別率；但當目標域信號與源域信號特征空間存在明顯差異，例如目標域M-FSK信號與源域M-QAM信號，則通過域適應技術對目標域樣本識別率幾乎沒有提升。此外，通過前文分析可以看出，本文提出的域適應卷積神經網絡對衰落信道下、低信噪比下信號識別性能也有一定的提升作用。

3 結語

本文針對通信調制識別中遇到的目標域測試樣本與源域訓練樣本存在分布差異的問題，提出運用VGG16網絡結合自編碼器、域適應技術的識別方法，此方法利用調制信號小波變化系數圖作為樣本，提取出不同類別間的顯著差異，并使用VGG16網絡提取小波變換所得圖像特征，之后通過最小化分類損失和CORAL損失之和，達到關聯源域和目標域的效果。仿真結果表明，通過域適應技術確實可以提升目標域測試樣本的識別率。但是，本文仍存在許多不足，例如當目標域信號與源域信號特征空間差距較大時識別率提升不明顯。在今后的工作中，將嘗試類間差異大的樣本做域適應處理，并不斷嘗試新的網絡模型，使網絡的遷移能力達到最佳。