基于DropBlock 雙模態混合神經網絡的無線通信調制識別

高巖，石堅,，馬圣雨,，馬柏林，樂光學

（1. 河南理工大學計算機科學與技術學院，河南 焦作 454003；2. 嘉興學院信息科學與工程學院，浙江 嘉興 314000；3. 嘉興學院數據科學學院，浙江 嘉興 314000）

0 引言

現代無線通信中的自動調制識別已被廣泛應用于商業和軍事領域[1-4]，調制識別算法通常分為似然估計、特征估計和深度學習。基于似然估計的識別算法利用似然函數進行決策實現信號的分類[5-6]；基于特征估計的識別方法[7-8]將調制特性與理論特征進行比較。這兩種方法存在需要先驗概率信息、對信噪比要求高[9]、識別類型少以及魯棒性差等缺點。隨著人工智能技術的發展，深度學習為無線通信信號調制識別提供了一種有效途徑[10]，深度神經網絡通常在過度參數化、訓練大量噪聲和正則化時表現良好，成為該領域的研究熱點。文獻[11]研究卷積神經網絡應用于調制識別領域，其調制識別類型達到11 種，實現低信噪比的高精度識別。文獻[12]基于ResNet 模型對24 種調制信號進行識別，精度有大幅提高。文獻[13]提出了一種結構化DropBlock，通過全連接層正則化和卷積層中激活單元在空間上相關性，抑制卷積層特征信息丟失問題，實現對未被丟棄的特征圖歸一化和卷積層的正則化。

為解決無線通信調制識別精度低的問題，提出了一種改進的雙模態混合神經網絡（bimodal hybrid neural network，BHNN）模型，該模型由殘差網絡（residual network，ResNet）和雙向門控循環單元神經網絡（bidirectional gated recurrent unit，BiGRU）構成。ResNet 因為網絡層數多，模型復雜度高，訓練時往往容易出現梯度消失與梯度爆炸等問題，因此本文在BHNN 架構中引入DropBlock 正則化，希望通過正則化提高網絡的泛化能力，并允許對采集的信號進行輕微的干擾。

通過在公開數據集RadioML2016.10a[14]和RadioML2016.10b[11]上的仿真實驗，驗證了所提出的基于DropBlock 正則化的BHNN 模型的自動調制識別方法。

1 模型設計

1.1 網絡模型結構

1.1.1 ResNet 模型

BHNN 模型中第一個分支為ResNet。殘差網絡可以構建更深層次的網絡，解決深度網絡中精度下降的問題，其中大量使用跳躍連接概念，允許特征在網絡的多個尺度和深度運行。殘差單元（Residual unit）與殘差塊（Residual stack）結構如圖1 所示。

本文使用殘差塊提取特征，每個殘差塊包含一個卷積層、兩個殘差單元和一個最大池化層。殘差單元中使用濾波器大小為5 的一維卷積，ReLU 作為激活函數，并采用填充操作使得輸入卷積層的張量大小與卷積后大小相同。每個卷積層后添加DropBlock 正則化層以防止過擬合，再將殘差單元的輸入與最后一個DropBlock 層的輸出相加形成跳躍連接。ResNet 的模型結構見表1。

表1 ResNet 的模型結構

1.1.2 BiGRU 模型

為使每個循環單元可以自適應地捕捉不同時間尺度的依賴性，文獻[15]提出了由復位門和更新門組成的GRU 模型，與長短期記憶（long short-term memory，LSTM）循環神經網絡相比，結構簡單，計算量少，更容易收斂。其中，更新門控制前一時刻隱藏層對當前隱藏層的影響程度，更新門值的大小正比影響當前隱藏狀態；復位門控制先前隱藏層信息被忽略程度，復位門值越小，忽略的越多。GRU[15]模型的更新方式如下：

其中，r j和zj分別表示j時刻的復位門和更新門，σ(?)表示sigmoid 函數，[?]j代表向量的第j個元素，x是輸入，Wr和Ur為權重矩陣。hj和h～j分別代表j時刻的激活狀態與候選激活狀態。

隱藏單元通過單獨的復位門和更新門學習捕獲不同時間尺度上的依賴關系，學習捕捉長期與短期依賴關系的單元分別具有經常處于活動狀態的更新門與復位門。

BHNN 中的另一個分支為BiGRU 模型，BiGRU 模型網絡結構如圖2 所示。BiGRU 利用了兩個方向的信息流，其基本單元由一個前向傳播的GRU 單元與一個反向傳播的GRU 單元組成，n個成對的GRU 單元構成BiGRU 模型。任一時刻的輸出會同時提供兩個方向相反的GRU單元，這兩個單元共同決定了輸出，這種設計有利于提取深層特征。BiGRU 模型結構見表2。

圖2 BiGRU 模型網絡結構[15]

表2 BiGRU 模型結構[15]

1.1.3 雙模態混合神經網絡

采用多模態融合的方式關聯數據特征，其特征表示比單一模態表示更具鑒別性，且有助于提高模型的魯棒性，使模型在某些模態缺失時仍能有效工作，已成為調制識別的有效方法之一。文獻[16]使用信號的3 種模態，分別輸入ResNet 模型中，使得不同模態數據包含的豐富信息可以相互補充[16]，但是ResNet 忽略了信息在序列中的傳遞，會導致較早時間步長信息的丟失。為解決這一問題，將同相和正交（in-phase and quadrature，IQ）分量與信號的極坐標形式兩種模態并行輸入所構建的BHNN 模型，通過ResNet 與BiGRU 分別提取信號的空間特征和時序特征，使得較早時間步長的信息傳遞下去。BHNN 模型總體框架如圖3 所示。

圖3 BHNN 模型總體框架

ResNet 模型可以避免梯度消失和梯度爆炸，BiGRU 模型能夠減少過擬合的發生。文獻[17]中提出，在循環神經網絡結構中使用極坐標形式表示的輸入數據可以為QAM 調制類型帶來更優異的分類性能，因此BiGRU 以極坐標形式接收輸入樣本，而非ResNet 結構所使用的矩形形式。

文獻[18]對IQ 數據表示為：

其中，A表示幅值，φ表示相位。極坐標形式[18]通過計算輸入IQ 采樣在每個時間步長的幅值和相位獲得，表示為：

數據輸入ResNet 與BiGRU 模型提取特征后，通過Flatten 操作分別將空間特征和時序特征轉換為一維特征，Concatenate 操作將一維特征拼接融合。最后以全連接層作為網絡的結束，全連接層的結果輸入Softmax 分類器中，將提取的特征分類。選用Adam 優化算法使網絡更易于訓練，初始學習率設置為0.001，使用交叉熵函數計算網絡訓練的損失，并采用Early Stopping 策略，當驗證損失在15 個epoch 內沒有改善時，停止訓練并保存模型。BHNN 模型隱藏層詳細參數見表3。

表3 BHNN 模型隱藏層詳細參數

1.2 DropBlock 正則化

基于文獻[13]提出的DropBlock 正則化方法，為使其適應無線信號分類任務，將特征圖的分塊調整為矩形，改善卷積層正則化效果不理想的問題。DropBlock 從圖層的特征映射中刪除連續的區域，主要參數為block_size 和keep_prob，其中block_size 控制刪除塊的大小，keep_prob 控制刪除的激活單元數量。

DropBlock 算法中不考慮特征映射的分辨率，為所有特征映射設置了一個常量block_size。當block_size=1 時，DropBlock 與Dropout[19]相似；當block_size 覆蓋整個特征圖時，DropBlock 與SpatialDropout[20]相似。

keep_prob 的設置隨著參數改變。DropBlock掩碼中每個零條目均由block_size2展開，塊完全包含在特征映射中，無法使用平均值為1-keep_prob 的伯努利分布對二進制掩碼采樣，需相應地調整keep_prob。

文獻[13]關于keep_prob 的計算式為：

其中，(feat_size-block_size+1)2為有效種子區域的大小，feat_size 代表特征圖的大小，feat_size =w_size×h_size，w_size 為特征圖的長，h_size 為特征圖的寬。DropBlock 的主要誤差在于丟棄的塊中會有一些重疊，因此式（7）只是一個近似值。

2 實驗與性能分析

2.1 數據集與實驗環境

為驗證BHNN 結構的有效性，實驗分別采用文獻[14]與文獻[11]中的公開數據集 RadioML 2016.10a 和RadioML2016.10b 測試。

RadioML2016.10a 數據集有22 萬個樣本、11 種調制方式，其中包括8 種數字調制方式和3 種模擬調制方式。每種調制類型包括20 種不同的信噪比，范圍從-20 dB 到18 dB 步長為2 dB。3 種模擬調制包括AM-DSB、AM-SSB 和WBFM，8 種數字調制方式包括GFSK、CPFSK、PAM4、BPSK、QPSK、8PSK、16QAM 和64QAM。RadioML2016.10a 數據集詳細參數見表4。為模擬真實的信道環境，數據集中添加了由采樣率偏移、中心頻率偏移、選擇性衰落和加性高斯白噪聲組成的信道模塊[21]。數據集中的每個樣本由128 個采樣點組成，2×128 個向量輸入模型，其中實部和虛部分別代表I 信號和Q 信號。數據集的標簽由信噪比和調制類型組成。

表4 RadioML2016.10a 數據集詳細參數

與RadioML2016.10a 相比，RadioML2016.10b缺少模擬調制方法中的AM-SSB，并且數據量有所擴充，數據樣本量為120 萬。RadioML2016.10b數據集詳細參數見表5。

表5 RadioML2016.10b 數據集詳細參數

實驗硬件配備Intel Xeon Gold 6230 CPU、NVIDIA Quadro RTX 8000 顯卡，所有網絡模型均在單一GPU 環境中訓練。使用Keras 和Tensorflow作為后端，Python3.8 進行編譯。在數據預處理部分，對數據集進行均勻分布分割，將70%的數據分配給訓練集，30%的數據分配給測試集。

2.2 不同激活函數下模型的識別精度分析

為評價BHNN 模型對激活函數的適應性，以GeLU、ReLU、Linear、LeakyReLU、Softmax、ELU 6 種激活函數測試，BHNN 在不同激活函數下分類精度對比如圖4 所示，即其在RadioML2016.10a和RadioML2016.10b 數據集上的測試結果。

圖4 BHNN 在不同激活函數下分類精度對比

（1）RadioML2016.10a 數據集測試，ReLU 函數的分類性能明顯優于其他激活函數，信噪比為0 dB 時分類準確率達到80%以上，其他激活函數均未達80%。信噪比大于4 dB 時分類性能趨于穩定，ReLU 函數分類準確率最高為89%；ReLU、GeLU、LeakyReLU 以及ELU 函數分類準確率穩定在80%～85%；Softmax 和Linear 函數分類效果較差，準確率低于75%。

（2）RadioML2016.10b 數據集測試，高信噪比下ReLU、GeLU、SeLU、LeakyReLU 以及ELU 5 種激活函數分類性能相似；當信噪比大于-8 dB且小于4 dB 時，SeLU 函數的分類效果明顯低于其他4 種激活函數。與小數據集情況相似，Softmax 和Linear 函數在大數據集分類效果最差，高信噪比下分類準確率低于85%。

經對比分析，ReLU 在兩數據集的分類效果均較好，因此最終在模型中選用ReLU 激活函數。

2.3 不同DropBlock 參數下模型的識別精度分析

keep_prob 和block_size 是DropBlock 正則化中的兩個重要參數，兩者的改變影響著DropBlock 的效果，為使DropBlock 對BHNN模型正則化效果達到最佳，使用 RadioML 2016.10a 和RadioML2016.10b 數據集分別測試兩個參數。

據文獻[12]假設keep_prob=0.7 為最佳值，對比不同的 block_size 值。DropBlock 在不同block_size 值下的分類精度如圖5 所示，基于RadioML2016.10a 和RadioML2016.10b 數據集測試時，隨著block_size 值的減小，分類效果逐漸提高，當block_size=2 時，模型的分類性能最優異。

圖5 DropBlock 在不同block_size 值下的分類精度

將block_size值設為2，比較不同的keep_prob值。DropBlock 在不同keep_prob 值下的分類精度如圖6 所示，隨著keep_prob 值的增大，分類精度逐漸升高，keep_prob=0.7 時性能最佳，繼續增大后性能反而下降，基于RadioML 2016.10a 測試時，keep_prob=0.4 時模型喪失分類能力，分類精度穩定在10%。

圖6 DropBlock 在不同keep_prob 值下的分類精度

經對比分析，DropBlock 正則化中最終選用block_size=2、keep_prob=0.7 的參數組合。

為避免網絡出現梯度消失和過擬合等問題，在BHNN 模型中引入DropBlock 正則化，BHNN加與不加DropBlock 的分類精度對比如圖7所示。

圖7 BHNN 加與不加DropBlock 的分類精度對比

（1）RadioML2016.10a 數據集測試，信噪比小于-5 dB 時，加入DropBlock 的模型分類效果較好；在-5～-1 dB 區間內，兩模型分類效果相似；信噪比大于-1 dB 時，加入DropBlock 的模型分類效果較好，分類準確率最高為89%。

（2）RadioML2016.10b 數據集測試，當信噪比低于-10 dB，不加入DropBlock 的模型效果較好；信噪比高于-10 dB 時，加入DropBlock 的模型分類效果明顯優于不加DropBlock，并在0 dB時分類準確率達到90%。高信噪比下分類精度最高可達93.6%。

正則化能夠防止過擬合，在模型中添加正則化可以限制模型的復雜度，為驗證DropBlock 正則化對模型的適應性，以L1、L2、L1L2、L1_L2正則化對比測試，以上4 種正則化均從Tensorflow庫中直接調用，不同正則化方法的參數設置見表6。

表6 不同正則化方法的參數設置

模型在不同正則化下的分類精度如圖8 所示，即不同正則化在 RadioML2016.10a 和RadioML2016.10b 數據集上的測試結果。

圖8 模型在不同正則化下的分類精度

（1）RadioML2016.10a 數據集測試，在低信噪比下5 種正則化分類準確率大致相同，因為低信噪比下，大量干擾信息淹沒了大部分信號特征，導致大多調制方式的識別精度較低，從而降低了整體識別精度；當信噪比大于-6 dB 時，DropBlock 的分類效果明顯高于其他4 種正則化。

（2）RadioML2016.10b 數據集測試，當信噪比大于-8 dB 且小于2 dB 時，DropBlock 分類效果明顯高于其他4 種正則化；當信噪比小于-8 dB和大于2 dB 時，5 種正則化的分類精度相似。

實驗結果表明，加入DropBlock 正則化后模型避免了過擬合等問題，分類效果在兩個數據集上均有明顯提升，且DropBlock 正則化更適用于卷積層的正則化，其對模型過擬合問題的抑制能力優于其他正則化方法。

2.4 不同神經網絡的識別精度對比分析

混淆矩陣是分類問題的一個衡量指標。樣例根據真實情況與預測類別的組合被劃分為4 種情形，顯然可得真正例數+假正例數+真反例數+假反例數=樣例總數，分類結果的混淆矩陣見表7。

表7 分類結果混淆矩陣

混淆矩陣也稱誤差矩陣，能夠直觀反映識別結果的分布情況，對于多分類問題通常使用M×M的矩陣，其中對角線的分類是正確的，對角線之外均為錯誤的。BHNN 在RadioML 2016.10a 數據集上的混淆矩陣如圖 9 所示，BHNN 在RadioML2016.10b 數據集上的混淆矩陣如圖10 所示，即BHNN 模型對信號分類后的混淆矩陣，對角線上的單元格表示預測與真實標簽一致，顏色越深，預測精度越高。

圖9 BHNN 在RadioML2016.10a 數據集上的混淆矩陣

圖10 BHNN 在RadioML2016.10b 數據集上的混淆矩陣

由于RadioML2016.10a 數據樣本量小，模型泛化能力較差，在該數據集上對信號分類識別時效果并不理想。識別的誤差主要發生在16QAM與64QAM 之間，WBFM 主要預測為AM-DSB，兩者都屬于連續調制，它們之間的變化在復雜信道下受到限制，并且采樣的模擬信號包含沉默間隔，加劇了WBFM 與AM-DSB 之間的混淆。RadioML2016.10b 數據樣本量更大，分類效果相對較好，在該數據集上對信號分類識別時改善了16QAM 與64QAM 間的混淆，誤差主要發生在WBFM 與AM-DSB 間。

為驗證BHNN 模型的有效性，本節基于RadioML2016.10a 與RadioML2016.10b 數據集進行對比實驗，將CNN[11]、ResNet[11]、LSTM、BiGRU與BHNN 模型對比，結果如圖11 所示。

圖11 各模型分類精度對比

（1）RadioML2016.10a 數據集測試，當信噪比小于-4 dB 時，5 種網絡模型的分類效果相似；隨著信噪比的增大，模型性能趨于穩定，在高信噪比下，BHNN 模型的分類準確率可達88.5%；ResNet、BiGRU 和LSTM 模型分類性能相似，分類精度穩定在82%左右；CNN 模型分類性能較差，分類準確率低于75%。

（2）RadioML2016.10b 數據集測試，當信噪比小于-6 dB 時，5 種網絡模型的分類效果相似；當信噪比大于-6 dB 時，CNN 模型的分類性能明顯低于其他4 種模型，分類準確率最高為81.1%；BHNN 模型與ResNet、BiGRU 和LSTM 網絡模型相比分類性能差距較小，略微領先于另外3 個模型，最高分類準確率為93.63%。

為進一步研究DropBlock 正則化對提高模型精度的有效性，分別在CNN[11]、ResNet[11]、LSTM、BiGRU 模型中加入DropBlock 正則化，并與BHNN 模型對比，各模型加DropBlock 后的分類精度對比如圖12 所示。

圖12 各模型加DropBlock 后的分類精度對比

（1）RadioML2016.10a 數據集測試，除ResNet模型外，BHNN 的分類準確率明顯優于其他3 個模型；當信噪比大于3 dB 時，BHNN 模型的分類準確率超過85%，在3～18 dB 范圍內的平均分類準確率比其他3 種模型高6%～9%；但在低信噪比情況下，所有模型的分類準確率基本一致。

（2）RadioML2016.10b 數據集測試，除CNN模型外，信噪比大于-5 dB 且小于0 dB 情況下，BHNN 的分類準確率略優于除CNN 外的其他3 種模型；在信噪比大于0 dB 時，BHNN 與3 種模型分類準確率基本相同，因為數據集樣本量越大，模型訓練充足，泛化能力強。

仿真結果表明，BHNN模型在RadioML2016.10b數據集上分類性能優于RadioML2016.10a 數據集，說明數據樣本量越大，模型訓練越充足，泛化能力越強；模型加入DropBlock 后分類效果均有提升，說明DropBlock 能夠有效防止模型產生過擬合。下一步工作將聚焦于優化模型在小數據集上的分類性能。

3 結束語

深度神經網絡在提高無線電信號識別的準確性和靈敏度方面展示出巨大的潛力。本文提出了一種雙模態混合神經網絡模型，該模型結合ResNet模型可以避免梯度消失或梯度爆炸、BiGRU 模型能減少過擬合的優點。仿真結果表明，基于RadioML2016.10a 測試時，BHNN 的最高分類準確率為89%；基于RadioML2016.10b 測試時，BHNN的最高分類準確率為93.63%，相同仿真條件下分類性能均優于CNN、LSTM、BiGRU 和ResNet 模型。為避免模型訓練時出現過擬合現象，模型中引入DropBlock 正則化，并與L1、L2、L1L2、L1_L2 4 種正則化方法對比，仿真結果表明，BHNN 模型引入DropBlock 正則化后分類效果有明顯提升。