基于深度殘差網絡的水下通信調制信號分類

王 巖，呂婷婷，楊 華，張 浩

（1. 中國海洋大學 電子工程系，山東 青島 266100；2. 泰山學院 物理與電子工程學院，山東 泰安 271021）

0 引言

自動調制分類（Automatic modulation classification，AMC）是非合作通信系統的關鍵技術，在民用和軍用領域都有許多應用場景。在民用領域，它用于軟件無線電和智能無線電系統[1-2]。在軍事領域，正確識別調制方案是截獲和干擾敵方通信的前提。近年來，用于無線通信的自動識別系統受到了越來越多的關注，AMC在水聲通信系統的應用研究還比較少。由于水下無線通信對高頻電磁波的吸收特性，而陸地中使用的無線電磁波不能在水下長距離傳輸[2]。水下信道特性主要反映在窄頻帶、長延遲和多徑效應中。這些水下通信環境特性與地面無線通信環境顯著不同，使得水下通信的AMC過程變得極為困難[3]。

通常為了提高通信系統的通信效率，比較常用的方法是采用高階調制方式，但是高階調制方法通常導致難以正確識別接收端的調制模式。特別是在通信環境極差的水下無線通信過程中，這種情況將更嚴重。傳統的機器學習方法主要包括決策樹（DT），隨機森林（RF），K-最近鄰（KNN）和支持向量機（SVM）[4]。這些方法在進行調制識別時都需要進行適當的數據集的特征提取。在識別各種數據集方面更優勢的深度學習方法在許多領域已經獲得了超過其他機器學習方法的壓倒性的優勢[5]。在地面無線通信調制識別任務中使用的深度學習方法主要是采用通用卷積神經網絡（CNN）方法[6]，這種方法也廣泛用于 MNIST（Mixed National Institute of Standards and Technology database）手寫數據集，但這種方法并沒有廣泛用于水下通信信號的識別過程中。

典型的AMC過程有2個步驟：信號預處理和結果信號分類。信號預處理主要包括信號參數估計和噪聲去除。有2種主要的調制分類算法：基于似然準則的[7-10]和基于特征提取的基于特征的[11-13]。LB方法是最佳的，它降低了錯誤分類的概率。然而，在實際應用中存在著非常巨大的計算復雜性；同時，它們通常需要緩沖大量的數據來找到決策閾值，并且需要大量的計算時間。這些方法在存在未知信道條件和其他接收機干擾（如多普勒頻移）時也不穩定。FB方法中人工選擇專家特征是次優的，這可能會丟失信號的深層特征。這些方法需要合適的決策閾值，但很難確定，因此，很難對頻移、多徑變化、時間衰落和不同的信號長度具有魯棒性。此外，這2種算法的計算成本都很高，不容易在實際通信系統中部署。作為一種機器學習方式，深度學習方法在眾多機器學習方法中脫穎而出，并且在大數據的支持下顯示出顯著的分類效果。深度學習方法通常有2個步驟：訓練階段和驗證階段。在訓練階段，通過輸入大量數據來訓練深層網絡，這需要大量時間，并且復雜且計算密集；在驗證階段，輸入數據實例來驗證訓練好的網絡的識別效果，該階段只消耗有限的計算資源在幾毫秒內完成。在實際的通信系統部署中，使用經過訓練的網絡，這相當于驗證階段。DLM 具有較低的計算復雜度和實時處理速度。隨著各種深度學習方法在各個領域取得顯著成果，出現了各種結構形式，如LeNet[14]，這種方法在手寫識別方面取得了良好的效果，以及由LeNet演化出來的各種結構形式，在圖像識別領域精度不斷提高突破，這些結構包括AlexNet[15]，ZFNet[16]，VGGNet[17]，InceptionNet[18]等。當深度學習網絡的層次越來越深時，由于數據集的分布概率特征過多被深度網絡學習到，很容易導致訓練出的模型發生過度擬合數據集的現象。也就是說，訓練集上訓練的模型難以對驗證數據集具有良好的分類效果，這也稱為模型泛化能力差。這時，無論是增加網絡層數，還是調整每層神經元的數量，以及修改深度學習網絡的各種超參數都無法改善這一過度擬合現象。

從目前已知的經驗角度來看，網絡的深度對于模型的性能至關重要。當網絡層數增加時，網絡可以提取更復雜的特征模式，因此當模型更深時，理論上可以獲得更好的結果。深度學習網絡性能下降的主要原因是在學習數據集分布概率時發生梯度消失和爆炸的問題[19]，這種情況導致了更深層次的深度學習網絡，在沒有性能改進的情況下變得更難訓練。深度網絡的退化現象至少表明當深度網絡能夠學習更多數據集特征分布的同時深度網絡變得更加不容易訓練。考慮到當網絡較淺時，我們通常希望通過堆疊新層的方式來構建深層網絡。在極端情況下，這些新添加的網絡層并不會學習數據集任何新特征，而僅僅只是復制淺層網絡的特征，即新層相當于是一種身份映射。在這種情況下考慮，深層網絡應該至少與淺層網絡的防止過擬合的能力一樣好，而不應該發生退化現象。另一種觀點是認為當前的訓練方法存在問題，從而使得深度網絡難以找到好的參數來擬合數據集的概率分布。在此假設分析的基礎之上，提出了采用殘差網絡學習數據集分布概率的方法來解決模型訓練過程中容易出現的退化問題[20]。

1 信號形式

海底水聲信道受時間延遲、多徑、多普勒和加性高斯白噪聲的影響。信道模型如圖1所示，接收信號可表示為

圖1 海底信道模型Fig. 1 Model of underwater channel

式中：s（t）是發射信號；n（t）是加性白噪聲；h（t，η）表示多徑信道；dm（t）是第m個多徑信號的衰減；?表示信號卷積；ηm（t）是第m個多徑延遲；M是多徑信號的數量，且所有路徑都具有相似多普勒縮放因子σ；ηm(t) =ηm-σt發射信號可以是數字信號（例如正交振幅調制QAM (Quadrature Amplitude Modulation)）或模擬信號（例如頻移鍵控FSK（Frequency-Shift keying））。

2 網絡結構形式

通過對深度學習網絡的實驗[17-18]，可以發現隨著深度學習網絡層數的不斷提高，模型的準確性不斷提高。當網絡級別增加到一定數量時，訓練準確性和測試準確性迅速降低。這表明當網絡變深時，深層網絡變得更難訓練。

神經網絡的反向傳播原理[21]，首先通過前向傳播計算結果輸出，然后將其與樣本目標進行比較以獲得誤差值

根據誤差結果，使用鏈規則來獲得偏導數，并且反向傳播結果誤差以獲得權重w調整的梯度。圖2顯示了輸出到隱藏層的反向傳播（從隱藏層到輸入層的反向傳播過程類似）。

根據鏈規則獲得的隱藏層的反向傳播過程為

式中：outputO1代表輸出層的第一個單位；HiddenO1代表隱藏層的第一個單元。通過連續迭代，連續調整參數矩陣，使輸出結果的誤差值更小，輸出結果更接近事實。從上述過程可以看出，神經網絡在反向傳播期間連續傳播梯度。當網絡層的數量加深時，梯度將在傳播過程中逐漸消失，層越多，衰減越多，這使得無法有效地調整先前網絡層的權重。此時，有必要在加深網絡層數量后解決梯度消失的問題，并提高模型的準確性。

圖2 隱藏層的反向傳播過程Fig. 2 Back propagation process of hidden layer

2.1 深度殘差網絡的結構形式

為了改進深度神經網絡學習過程中梯度消失的問題，人們引入了深度殘差網絡，通常是采用一種結構設計上簡化的方法，但只是通過簡單地深化網絡的結構形式來提高分類精度。在圖像域中使用的殘差網絡結構中，幾乎所有卷積層都使用的3×3的卷積內核。并且沒有在隱藏層中設計任何完全連接的層。在訓練過程中也不考慮使用任何Dropout機制來防止過擬合。由上述設想的結構元素組成的典型殘差網絡結構單元如圖3所示。

圖3 殘差網絡結構單元Fig. 3 Structural unit of residual network

圖3中使用短路連接層，引入了非常平滑的正向傳輸過程。αi+1與其前一層αi之間的關系是純線性疊加關系，如等式所示αi+1=αi+G(αi)。如果進一步導出αi+1及其后續圖層的輸出，將找到擴展表達式，如下所示

αI向量的任何后續層的內容將具有一部分，其由前面的層αi線性貢獻，如圖4所示。

上述公式中的αI層輸出的函數表達式表明反向殘差轉移也是一個非常平穩的過程。對應于上述公式中殘差的定義，其中相應的殘差表示為

這里αla表示在給定當前樣本和標簽的情況下對應于αI層的理想矢量值。然后使用反向傳播過程，這里的鏈式規則可以直接找到相應的反向傳播

由任何層上的輸出αI產生的殘差可以傳遞回其前面的任何層的αi上，這種轉移的過程非常快速和直接。然后，當層數增加時，將沒有明顯的網絡退化問題，如圖5所示。

圖4 殘差恒等映射正向傳播過程Fig. 4 Forward propagation process of residual identity map

圖5 殘差恒等映射反向傳播過程Fig. 5 Back propagation process of residual identity map

2.2 網絡結構及網絡訓練優化器設置

輸入層采用時域的采樣信號，使用殘差網絡50層的結構形式。輸入信號調制數據后，使用conv 64、內核 2×2，stride 1，批量歸一化層（Batch Normalization Layer），ReLU激活層及最大池化層（MaxPooling Layer）進行數據預處理。改造的殘差網絡50層主要由4部分組成，具體參數見表1。

表1 改造殘差網絡50層結構形式Table 1 50-layer structure of transformed residual network

在訓練網絡中選擇梯度下降優化參數時，應注意所選參數與水下通信調制識別數據之間的匹配問題。在這個過程中最廣泛使用的梯度下降法是Adam（Adaptive Moment Establishment）[22]。Adam引入了二階動量，但是隨著時間窗口的變化，遇到的數據會發生巨大變化，從而可能變得或大或小，而不是一個單調變化的過程。這可能導致后期訓練中的學習率震蕩，并導致模型無法收斂。當使用Adam訓練深度學習模型用來識別水下通信調制方式的數據集時，就會遇到此問題。

為了解決這類問題并確保算法的收斂性，需要使用具有動量方法的隨機梯度下降方法（SGD，Stochastic Gradient Descent）[23]來解決使用Adam訓練模型的問題。SGD在學習數據集分布時波動的優勢在于可以更好地學習類似流域區域的數據集的分布特征。

3 實驗驗證

仿真實驗的水下通道模型使用深海模型參數[24]，如表2所示。深海信道的參數主要設置如下：水深5 000 m，信號發射換能器位于水下1 000 m，信號水聽器位于水下900 m，信號發射換能器和信號水聽之間的距離為56 km。符號速率為1 000 符號/s。在仿真實驗中，使用了文獻[25]的BPSK、QPSK、8PSK、16QAM，它們是水下通信中最常見的調制模式。

表2 深海信道參數Table 2 Deep sea channel parameters

圖6中，縱軸表示數據的真實調制模式，橫軸表示用于在水下通信之后接收識別模式的模型的判斷。當SNR =-10 dB時，可以以較高地識別率從多種調制方式中區分出BPSK。此時，QPSK的辨別度相對較低，并且不容易與幾種調制方法區分開。當 SNR上升到-2 dB時，可以很好地區分 4種調制方法，這從另一方面說明該模型在較低的信噪比下是有效的。

圖6 信噪比= -10 dB（左）和信噪比= -2 dB（右）的分類效果Fig. 6 The classification effect of SNR = -10 dB（left）and SNR = -2 dB（right）

圖 7顯示了使用深度神經網絡和其不同神經網絡結構形式在分類精度上的差異。其中，ResMedol代表了本文中使用的深度殘差網絡架構形式。涉及到的4種常用神經網絡是人工神經網絡（ANN）[26]，多層感知器（MLP）[27]，4層深度神經網絡（DNN）和8層DNN（非卷積神經元）[28]，3層 CNN卷積神經網絡[29]。在較低的信噪比（-20～-13 dB）下，ResModel顯示出更好的識別效果，與其他神經網絡方法相比具有明顯的優勢，后者高出近 10%。這進一步表明，殘差網絡結構的加深網絡層次結構不會導致模型的退化，更深的網絡層次帶來了性能的提高。

圖7 不同神經網絡的信號調制識別對比Fig. 7 Comparison of signal modulation recognitions of different neural networks

4 結束語

在深海信道模型下，利用本文設計的殘差網絡結構實現了水聲通信信號的調制識別，取得了良好的效果。結果表明，對于傳統神經網絡方法，因為神經網絡層數增長引起的模型退化問題可以通過殘差結構來解決。該殘差網絡模型不僅提高了訓練精度，而且顯著減輕了模型退化問題。然而，應該注意的是，在低信噪比下，與其他神經網絡方法相比，雖然殘差網絡結構具有一定的優勢，但也有待進一步改進網絡結構設置，以提高其低信噪比下識別精度。未來將考慮引入其他深度網絡模型結構的形式，如在設計結構中加入遞歸神經網絡，以在較低信噪比下進一步提高調制識別效果。