基于輕量化分布式學習的自動調制分類方法

楊潔，董標，付雪，王禹，桂冠

（南京郵電大學通信與信息工程學院，江蘇 南京 210003）

0 引言

物聯網體系中眾多邊緣設備廣泛連接，實現了設備之間的無縫通信。然而，隨著終端數量的增加，大量的中間數據存儲在邊緣設備中，當邊緣設備受到外部惡意攻擊時，設備中的數據有丟失或外泄的風險。因此，有效識別并攔截外部惡意攻擊是物聯網設備安全部署的基礎[1-7]。自動調制分類（AMC,automatic modulation classification）部署在通信系統的接收機端，可實現自動識別不同種類調制信號的功能[8-10]。因此，AMC 是一種識別物理層惡意攻擊的重要方式。

傳統的AMC 方法包括基于似然比的方法和基于特征的方法。基于似然比的方法計算復雜度高，并且需要通信系統的信道狀態信息。基于特征的方法雖然計算復雜度相對較低，但是需要依靠專業知識構建復雜的特征工程。近年來，深度學習技術在圖像領域和自然語言處理領域取得了重大突破[11]，因此許多研究者嘗試將深度學習技術應用于AMC。然而，現有的基于深度學習的AMC 研究普遍采用集中式學習進行優化[12-14]，即每臺邊緣設備將本地數據集上傳到一臺中心設備訓練，然后邊緣設備從中心設備下載訓練好的全局模型權重。顯然，集中式學習有如下缺點：1) 本地設備上傳數據集到中心設備，本地設備的數據隱私安全無法得到保證；2) 海量的數據匯聚到中心設備，給中心設備帶來巨大的存儲壓力；3) 中心設備對海量數據進行訓練，計算壓力較大且訓練效率低。

針對集中式學習出現的問題，研究者嘗試采用分布式學習策略[15-20]。分布式學習中，本地邊緣設備與遠程中心設備之間進行模型權重信息交互而非數據共享，避免了本地設備的數據外泄，也減輕了中心設備的存儲壓力。通過多臺本地邊緣設備協同訓練的方式可以有效減輕中心設備的計算壓力，從而縮短訓練時間。Wang 等[20]提出了一種基于分布式學習框架訓練卷積神經網絡（CNN,convolutional neural network）的自動調制信號分類方法，實驗結果證明分布式訓練框架可以提高訓練效率。但是在分布式訓練框架中部署CNN 存在如下缺點：1) CNN 較大的模型權重導致分布式訓練中因模型權重交互帶來的通信開銷劇增；2) CNN 較高的模型復雜度給邊緣設備的有限算力提出挑戰。為了保證分類性能，同時進一步降低通信開銷和模型復雜度，有必要根據信號特征設計網絡。Xu 等[12]將信號分解為多信道輸入，充分提取信號同相分量和正交分量中的特征，以較小的模型權重和較低的模型復雜度取得了較好的分類性能。Zhang 等[13]將信號預處理為幅度相位形式，充分提取信號中的時間特征和空間特征，提高了分類性能，模型權重和復雜度與傳統的CNN 相比有所降低。為了進一步降低模型權重和復雜度，本文嘗試在分布式學習框架上部署更輕量的網絡。

本文的主要貢獻總結如下。1) 提出了一種基于分布式學習的輕量化網絡，本文將其命名為MCMBNN，旨在解決集中式學習下數據隱私外泄、中心設備存儲壓力大和訓練效率低等問題。2) 在分布式學習框架下部署不同的網絡進行對比實驗，結果證明了MCMBNN 可以有效降低通信開銷，同時具備較好的分類性能。

1 問題描述

1.1 信號模型

本文使用的基于單載波的信號模型如式(1)所示。

其中，k∈ {0,1,…,K? 1}，u(k)表示接收機收到的調制信號，λ表示信道增益，f0表示載波偏移，θ表示相位偏移，h[l]表示瑞利衰弱信道脈沖響應，L表示信道脈沖響應的長度，K表示信號采樣點數，σ(k)表示加性白高斯噪聲。接收信號被分解為同相分量I和正交分量Q并輸入神經網絡中，如式(2)所示。

1.2 基于深度學習的自動調制分類系統框架

基于深度學習的自動調制分類系統框架如圖1所示，深度學習網絡在系統中充當一個分類器。設收到的 調制信 號的類別為D={dj,j=0,1,…,J? 1}，其中，J表示信號的類別數目。基于深度學習的自動調制分類的決策式為

圖1 基于深度學習的自動調制分類系統框架

其中，F表示深度學習作為分類器的函數，P表示模型參數。此外，選用交叉熵函數作為損失函數，如式(4)所示，利用L2 正則化作為平衡項的懲罰因子，防止模型出現過擬合。

其中，R表示訓練樣本的規模，yr表示樣本的實際標簽，K(?)表示懲罰函數，μ表示懲罰函數的平衡系數。

1.3 傳統的集中式學習

集中式學習框架如圖2 所示。每個邊緣設備都有一個本地數據集n表示第n個邊緣設備，Sn表示第n個邊緣設備中數據集的規模，因此全局數據集可以表示為Mg=M1∪M2∪…∪MN，全局數據集的規模可以表示為另外Mi∩Mj=0，i≠j。

圖2 集中式學習框架

在集中式學習中，各個邊緣設備將本地數據集上傳到遠程的中心設備（在上傳過程中邊緣設備數據對外暴露），中心設備收到數據集后開始訓練本地模型，這要求中心設備具備足夠的存儲空間和較強的算力。訓練結束后將模型權重W共享給每個邊緣設備。集中式學習采用最小化經驗損失函數準則訓練模型，如式(5)所示；同時采用Adma 優化器來更新權重信息，如式(6)所示。

2 本文方法原理

2.1 分布式學習

分布式學習框架如圖3 所示。與集中式學習相比，分布式學習中每個邊緣設備利用本地數據集訓練模型，將模型權重共享給中心設備。具體地，分布式學習包括以下4 個步驟。

圖3 分布式學習框架

1) 模型初始化和參數廣播

中心設備構建一個模型。首先，初始化模型權重、學習速率、訓練周期數和訓練批次等參數；然后，中心設備將模型和初始化的參數廣播給邊緣設備。

2) 邊緣設備權重更新和上傳

邊緣設備先從中心設備下載模型和初始化的參數，利用本地數據集訓練模型；然后根據Adma優化更新模型權重。與集中式學習中所有數據被上傳到中心設備訓練相比，分布式學習采用邊緣設備在本地訓練的方式，可以緩解中心設備的存儲壓力和計算壓力。

3) 模型聚合

一個訓練周期完成后，邊緣設備將本地模型權重共享給中心設備，由中心設備對模型權重作加權平均得到全局模型權重，如式(7)所示。

其中，Wt+1是第t個訓練周期聚合的全局權重，是步驟2)中更新的模型權重。與集中式學習相比，分布式學習通過共享更新的模型權重而非共享數據集的方式，達到保證數據隱私安全的目的。

4) 全局權重更新

邊緣設備從中心設備下載全局模型權重代替原來的模型權重，重復步驟2)～步驟4)，直到模型收斂。

2.2 輕量化網絡

本文在分布式學習的步驟1) 中部署了輕量化網絡MCMBNN，其整體結構如圖4 所示，網絡由相位參數評估模塊、空間特征提取模塊和時間特征提取模塊GRU(128)組成。

圖4 輕量化網絡MCMBNN 整體結構

1) 多信道輸入

因為I 信道和Q 信道的信號之間存在極大差異，所以輸入信號通過3 路信道輸入輕量化網絡，即IQ 信道、I 信道和Q 信道，這樣可以提取到不同信道間的互補特征，進一步提高分類性能。

2) 相位參數評估模塊

信號通過信道時受到噪聲的影響，所以輸入IQ信號通常攜帶相位偏移信息。

相位參數評估模塊的作用是提取相位偏移信息[14]。如圖5 所示，相位參數評估模塊由一個Flatten層和一個包含單個神經元的Dense 層組成，原始IQ信號通過Flatten 層實現維度變化以滿足Dense 層的輸入要求，經過Dense 層輸出的張量提取到豐富的相位特征，最后用線性激活函數獲取相位評估參數ψ。參數評估之后是相位轉置，相位轉置的計算式為

圖5 相位參數評估模塊

3) 空間特征提取模塊

空間特征提取模塊如圖6 所示，3 路信道并行輸入不同的卷積塊。第一路 IQ 混合信道輸入MC2D-Block1，其結構如圖7(a)所示。MC2D-Block1采用2 個非對稱卷積核(2,8)、(8,2)和一個(1,1)的卷積核來代替(8,8)對稱卷積核，每一個卷積層Conv2D后利用ReLU 層增強網絡的非線性，同時避免梯度消失，最后在信道維度進行拼接。

圖6 空間特征提取模塊

第二路 I 信道和第三路 Q 信道分別輸入MC1D-Block，如圖7(b)所示。MC1D-Block的整體結構和MC2D-Block1 相似，區別是MC1D-Block采用了一維卷積，原因是I 信道和Q 信道的輸入信號是2 個一維序列。此外，3 個卷積層使用的卷積核的大小分別是2、4和8，這樣設計可以用較少的參數提取相對豐富的空間特征。2 個MC1D-Block的輸出張量在深度和維度上進行拼接形成新張量，新張量融合了I 信道和Q 信道的空間特征。為了提取更加高級的特征，新張量被并行輸入MC2D-Block2。與MC2D-Block1 相比，MC2D-Block2 采用(1,8)和(8,1)的非對稱卷積，MC2D-Block2的輸出張量和MC2D-Block1的輸出張量在通道維度上拼接，進一步實現特征融合。融合的張量輸入分組卷積層，分組卷積層采用2 個分組的3×3 卷積核代替標準卷積，實現模型復雜度的降低。

圖7 MC2D-Block1和MC1D-Block

4) 時間特征提取模塊

MCMBNN 利用Add 層實現信號相位特征和空間特征的融合，采用包含128 個神經元的GRU 層實現信號時間特征的提取。

2.3 輕量化網絡的復雜度分析

一般地，模型復雜度包括時間復雜度和空間復雜度[20]，本文中時間復雜度以每秒浮點運算次數（FLOPS,floating-point operations per second）呈現，空間復雜度以參數量的形式呈現。

1) 相位參數評估模塊

相位參數評估模塊的復雜度集中在Dense 層，Dense 層的復雜度分別如式(9)和式(10)所示。

其中，PDense和FDense分別是Dense 層的參數量和FLOPS，Cout和Cin分別是輸出和輸入信道數。相位參數評估模塊的Dense 層僅有一個神經元，因此Cout=1。顯然，相位參數評估模塊的復雜度和Cin處于一個量級，可忽略不計。

2) 空間特征提取模塊

為了降低模型復雜度，空間特征提取模塊部署了非對稱卷積核而非對稱卷積核。標準卷積的參數量和FLOPS 分別如式(11)和式(12)所示

其中，Ml是輸出特征圖的尺寸，Kh和Kw分別是卷積核的2 個維度。顯然，部署Kh×Kw=8×2和Kh×Kw=2×8 非對稱卷積核的復雜度小于部署2 個Kh×Kw=8 × 8對稱卷積核的復雜度。

此外，與文獻[3,12,20]不同，MCMBNN 利用分組卷積取代標準卷積進一步提取空間特征，分組卷積的復雜度分別如式(13)和式(14)所示。

其中，G是分組卷積的分組數。分組卷積和標準卷積的空間復雜度和時間復雜度之比分別如式(15)和式(16)所示。與標準卷積相比，分組卷積的參數量和FLOPS 降低為原來的

3) 時間特征提取模塊

MCMBNN 采用單層的GRU 模塊而非LSTM模塊作為時間特征提取模塊。GRU 模塊的參數量和FLOPS 分別如式(17)和式(18)所示，文獻[3,12]中使用的LSTM 模塊參數量和FLOPS 分別如式(19)和式(20)所示。

其中，Es和Hs分別是詞向量維度和隱藏層節點數。GRU 模塊和LSTM 模塊的空間復雜度和時間復雜度之比分別如式(21)和式(22)所示。可以看出，GRU模塊的復雜度是LSTM 模塊的

3 實驗與評估

3.1 實驗設置

實驗在Geforce GTX 2080ti GPU 計算設備上實施。仿真平臺是Tensorflow 1.10+Keras 2.2.4深度學習框架，環境采用Python 3.6。采用的數據集是公開數據集RadioML.2016.10A，RadioML.2016.10A 共有220 000 個樣本，其調制類別包括{BPSK,8PSK,CPFSK,GFSK,PAM4,16QAM,64QAM,QPSK,AM-DSB,AM-SSB,WBFM}，信噪比為?20～18 dB。本節將所提輕量化網絡與目前較先進的幾個深度學習網絡進行性能對比，包括MCLDNN[12]、CNN[20]、CNN-LSTM[3]。同時進行了分布式學習和集中式學習的對比實驗，觀察分類性能的差異。超參數設置如表 1所示。

表1 超參數設置

另外，集中式學習數據集樣本數為220 000 個，均在中心設備數據集中可用。本文在分布式學習中引入10 個邊緣設備和一個中心設備。對應地，RadioML.2016.10A 數據集被等分成10 份并存儲在10 個邊緣設備中（每個邊緣設備數據集樣本數為22 000 個）。

3.2 實驗結果

3.2.1 關鍵超參數設置

分組卷積的卷積核尺寸KSG和時間特征提取模塊GRU 中神經元的數量U影響著模型分類性能和復雜度。分組卷積核尺寸設置如表2 所示，隨著KSG的增加，模型分類性能得到改善，但是模型復雜度也隨之增加。綜合考慮模型分類性能和復雜度，本文設置KSG為3×3。時間特征提取模塊神經元設置如表3 所示，本文設U=128，與U=32 相比，雖然模型復雜度增加，但是模型分類性能提升顯著。換言之，MCMBNN 犧牲部分模型復雜度換取較大的分類性能提升。

表2 分組卷積核尺寸設置

表3 時間特征提取模塊神經元設置

3.2.2 基于集中式學習的輕量化網絡

集中式學習下的分類性能比較如圖8 所示，其中中括號內的數值代表相應的平均分類性能。從圖8(a)可以看出，所提輕量化網絡MCMBNN 在不同信噪比情況下對PSK和FSK 都有較好的分類性能，且當SNR=4 dB 時，CPFSK和GFSK 分類性能達到100%。圖8(b)給出了MCMBNN 在不同信噪比情況下對QAM、PAM和模擬調制識別的性能。從圖8(b)可以看出，除WBFM 外，其他調制的分類性能均超過60%。WBFM 分類性能差是因為WBFM和AM-DSM、AM-SSB 都屬于模擬信號，它們之間的幅度相位頻率等特征差異較小，因此容易造成混淆。

不同網絡分類性能對比如圖8(c)所示。與MCLDNN和CNN-LSTM 相比，當?6 dB≤SNR≤?2 dB 時，MCMBNN 分類性能比MCLDNN和CNNLSTM 高3%。與CNN 相比，MCMBNN 在所有信噪比下的分類性能均大于CNN，尤其當SNR≥?4 dB 時，MCMBNN的分類性能比CNN 高10%。

圖8 集中式學習下的分類性能比較

不同網絡的復雜度比較如表4 所示。相比于其他網絡，MCMBNN的時間復雜度和空間復雜度都較低。為了進一步分析MCMBNN的時間復雜度和空間復雜度，本文對MCMBNN 實施了消融實驗，消融實驗是對模型中某一模塊控制變量，觀察這一模塊對模型指標的影響。如表5 所示，V1中只去除相位參數評估模塊，V2中用對稱卷積核代替非對稱卷積核，V3中用標準卷積代替分組卷積，V4中用LSTM模塊代替GRU 模塊。根據V1和MCMBNN的對比可以發現，相位參數評估模塊復雜度較低并且可以有效提高分類性能。根據V2、V3和MCMBNN的對比可以發現，非對稱卷積核和分組卷積的使用可以在保證分類性能的同時有效降低模型復雜度。根據V4和MCMBNN的對比可以發現，相比于LSTM 模塊，GRU 模塊的使用可以有效降低模型復雜度。

表4 不同網絡的復雜度比較

表5 基于MCMBNN的消融實驗

3) 基于分布式學習的輕量化網絡

分布式學習下的分類性能比較如圖9 所示。在分布式學習中，MCMBNN 依然保持較好的分類性能。對比集中式學習，分布式學習有0.68%的分類性能損失，原因是在分布式學習中，邊緣設備不再共享本地數據集給中心設備，而是共享本地訓練好模型的權重信息。

圖9 分布式學習下的分類性能比較

下面，對分布式學習中通信開銷和訓練效率2 個指標展開分析，通信開銷定義為

其中，N表示邊緣設備的數量，Wm表示模型權重的大小，T表示模型收斂時的訓練周期數。當訓練周期數一定時，通信開銷與模型權重大小呈正相關。因此在分布式學習中部署輕量化模型可以有效減少通信開銷，不同網絡的通信開銷如圖10 所示。相比于其他網絡，輕量化網絡MCMBNN 有較低的通信開銷。

圖10 不同網絡的通信開銷

訓練效率是衡量模型訓練速度的指標，定義為

其中，Ttrain是模型在一個訓練周期的時間。不同模型在分布式學習和集中式學習下的訓練效率對比如圖11 所示。從圖11 可以看出，分布式學習訓練效率約為集中式學習的5 倍，這得益于分布式學習中有多個邊緣設備協同訓練。

圖11 不同模型在分布式學習和集中式學習下的訓練效率對比

4 結束語

本文提出了一種基于輕量化網絡的分布式自動調制信號分類方法，該方法采用分布式學習優化和輕量化網絡MCMBNN。在設計輕量化網絡的過程中，綜合考慮模型分類性能和模型復雜度，應用不同的輕量化設計思想，充分提取調制信號的特征（相位、時間和空間特征）。不同于傳統的集中式學習，分布式學習利用多個邊緣設備訓練一個全局模型，并且共享模型權重，因此分布式學習既充分利用了邊緣設備上的數據，又避免了數據隱私外泄的風險，同時減輕了中心設備的計算壓力和存儲壓力，提高了訓練效率。此外，利用分布式學習訓練輕量化網絡，可以在保證分類性能的基礎上，降低分布式學習由于權重信息的反復傳輸帶來的通信開銷。