基于多模態域對抗神經網絡的調制識別算法

徐 強，李保國，王 翔，鄧 文，杜志毅

（國防科技大學電子信息系統復雜電磁環境效應國家重點實驗室，湖南 長沙410073）

0 引言

信號調制識別（MR）作為電子偵察系統需要完成的首要任務之一，位于信號檢測和信號解調之間，它的目的是在有限或者沒有先驗信息的條件下，識別接收到的未知信號調制方式，為電子偵察后續工作流程中的信號解調和情報挖掘打下基礎[1]。傳統的調制識別主要使用基于最大似然和基于特征的方法，但這些方法存在難以適應不斷發展的復雜信號調制和嚴重依賴于人工設置門限的問題。為應對這些問題和挑戰，近些年研究人員將深度學習引入非合作通信中的調制識別中，賦予信號調制方式識別技術以機器智能，深度學習的優勢在于無需人工設計、提取信號特征，神經網絡可自動化進行信號特征提取及信號分類，其提取到的信號特征具有更強的魯棒性和泛化能力。各式各樣的深度學習技術，包括卷積神經網絡(CNN)、遞歸神經網絡(RNN)和一些混合模型，應用于調制識別中已顯示出優于傳統方法的性能。

本文主要是針對實際電子偵察場景中源域調制數據和目標域調制數據因為碼速率的差異而導致數據分布不同，預先訓練的深度學習模型失配，智能調制識別算法性能急劇惡化且大量無標注目標域調制數據未被利用的問題，利用遷移學習技術進行知識遷移，結合無標簽目標域調制數據參與訓練，充分挖掘源域和目標域的相關性，使得源域調制數據訓練獲得的知識能有效地提升目標域調制數據的性能。本文在前人研究的基礎上，采用一種基于多模態域對抗神經網絡的調制識別算法，在域對抗神經網絡基礎上同時使用時域和頻域的多模態信息對齊源域和目標域調制信號的數據分布，以提升調制識別算法性能，并用仿真結果驗證識別算法的有效性。

1 研究現狀分析

目前已經有少量的相關研究工作，文獻[2]表明目前的MR方法都是基于發射機技術的先驗知識（符號持續時間、帶寬、上采樣和信號整形）和信道條件下設計的，一旦應用于不同的信道條件/發射機特性，其識別性能將會顯著下降，因此提出空間變換網絡（STN）和嵌入輕量ResNeXt分類器，在只有5%有標簽且包含20個復雜高階調制的大型數據集上提高了10%～30%的平均識別精度。同時研究了不同的信號和信道參數對調制識別系統的影響，并給出可能的優化方向，使基于深度學習的方法對于看不見的信號形狀更加魯棒。文獻[3]在Deepsig公開的實采調制信號數據集[4]上使用DANN[5]域對抗網絡遷移高信噪比條件信號（18～30 d B）的特征輔助訓練低信噪比條件（-6～6 dB）的信號特征，實驗驗證該算法是可行有效的，但隨著源域與目標域信噪比差異過大，識別準確率仍有所下降。文獻[6]借鑒了基于差異的域適應技術，采用VGG16提取信號小波變換后系數圖像特征并用自編碼器對高維度的特征進行降維處理，隨后計算訓練樣本特征與測試樣本特征之間的CORAL損失，最后聯合優化分類損失和CORAL損失使模型達到最優。實驗結果表明，在信號類別存在差異或信道環境存在差異的條件下，引入域適應技術可提高待測信號識別準確率5%以上。文獻[7]借鑒ADDA網絡[8]，提出了一個對抗式遷移學習架構(ATLA)以解決采樣率不同引起的數據分布差異而導致的模型性能急劇惡化的問題，用1/10的訓練數據，提升的準確率高達17.3%。

文獻[2]研究了與源域不同分布的目標域有少量標簽情況下如何提高網絡的泛化性和魯棒性；文獻[3,6-7]在開展基于域適應的調制識別算法研究時只考慮了信號的單模態信息（僅使用信號的單一維度特征，比如時域或者頻域信息），忽略了將信號時域和頻域的多模態信息（使用信號的多個維度特征，將時域、頻域及其他變換域信息）融合后進行域適應而獲得的互補增益[9]。為了解決這個問題，本文提出一種基于多模態域對抗神經網絡的調制識別算法，在域對抗神經網絡基礎上同時使用時域和頻域的多模態信息對齊源域和目標域調制信號的數據分布以提升調制識別算法性能，并與文獻[3]中的DANN網絡、源域訓練目標域直接測試、有監督學習進行了性能對比。

2 信號與識別模型

2.1 信號模型和數據預處理

數字調制技術允許數字低頻基帶信號在高頻載波波形上傳輸，其可以修改載波信號的不同波形特征，包括幅度（MASK）、頻率（MFSK）、相位（MPSK）以及幅度和相位的組合（MQAM、MAPSK）。在接收機處，必須結合特定的調制信號特性和經過訓練的分類器，將調制信號分配給最合適的調制類別。接收到的無線電信號y(t)的復包絡可以寫成：

式中,n(t)表示加性高斯白噪聲；g(t)表示等效濾波器，具體包括成型濾波、信道濾波和匹配濾波；an表示發送端所發送的符號序列。不同的調制方式，符號序列呈現的樣式也不盡相同。

本文主要考慮8種數字調制信號，分別為8PSK、BPSK、CPFSK、GFSK、PAM 4、QAM 16、QAM 64和QPSK。其中數據輸入包括調制信號時域和頻域的多模態信息，仿真產生的復基帶信號為y(n),n=1,2,3,…,N，則I路和Q路分別為y(n)的實部和虛部：

將I路和Q路堆疊得到時域模態F1：

頻域模態信息通過提取信號二次方譜和四次方譜得到，二次方譜和四次方譜計算方法如下：

2.2 遷移學習和域適應

遷移學習被賦予這樣一個任務：從以前的任務當中去學習知識或經驗，并應用于新的任務當中。換句話說，遷移學習目的是從一個或多個源領域中抽取知識、經驗，然后應用于一個目標領域當中去。對于常規機器學習和遷移學習的差異和域適應的定位如圖1所示，通常將遷移學習技術分為三類:歸納式（inductive）、直推式（transductive）和無監督（unsupervised）。歸納式遷移學習針對的是源域和目標域數據分布相同，源域和目標域的任務不同的情況。直推式遷移學習針對的是源域和目標域數據分布不同，源域和目標域的任務相同的情況。無監督遷移學習針對的是源域和目標域數據分布不同，源域和目標域的任務不同的情況，其中域適應屬于直推式遷移學習。

圖1 常規機器學習和遷移學習的差異和域適應的定位

本文研究的是基于深度無監督同構對抗域適應的調制識別算法，利用深度域適應[10]中的域對抗技術，解決調制識別任務（任務相同）中源域調制信號有標簽，目標域調制信號無標簽（無監督）且源域和目標域調制類型相同（同構），數據分布不同的調制識別問題，其中不同域之間的調制數據分布不同主要體現在碼速率的差異上。

2.3 基于多模態域對抗神經網絡的調制識別算法

使用基于單模態DANN的域適應調制識別網路作為性能對比測試網絡，其結構如圖2所示。網絡的輸入為F1時域單模態信息，網絡包括2個流向，第一條流向輸入為源域數據，是帶標簽的數據；另一條流向輸入是目標域數據，包含的是不帶標簽的數據，它們使用共享的特征提取器。在源域和目標域數據流過中間的特征提取器之后，源域數據流入標簽分類器并計算源域標簽分類損失，源域數據和目標域數據共同流入域分類器并計算域分類損失，網絡的優化目標是最小化源域標簽分類損失的同時最大化域分類損失。其中特征提取器采用文獻[7]中的特征提取網絡，特征提取器、源域標簽分類器及域分類器的網絡參數分別如圖3-4所示。

圖2 基于DANN的域適應調制識別網絡

圖3 特征提取器參數

本文在域對抗神經網絡基礎上同時使用時域和頻域的多模態信息對齊源域和目標域調制信號的數據分布以提升調制識別算法性能。提出的調制識別模型如圖5所示。網絡輸入為F1和F2時頻域多模態特征，其中源域為有標簽調制數據，目標域為沒有標簽調制數據，識別算法訓練步驟為：

圖5 基于多模態域對抗神經網絡調制識別模型

Step1：源域數據F1模態信息和目標域F1模態信息通過特征提取器分別生成256維隱藏層特征s1和t1；

Step2：源域數據F2模態信息和目標域F2模態信息通過特征提取器2生成256維隱藏層特征s2和t2；

Step3：s1和t1分別輸入到域分類器1進行域分類并計算域分類損失1；

Step4：s2和t2分別輸入到域分類器2進行域分類并計算域分類損失2；

Step5：對s1和s2實施cat操作，將特征進行融合，將融合后的512維特征輸入源域標簽分類器進行源域標簽分類并計算源域標簽分類損失；

Step6：將源域標簽分類損失和域分類損失1，域分類損失2相加后得到總的loss進行梯度反向傳播，其中最終優化目標為：

式中，θf1,θf2,θy,θd2,θd2分別是特征提取器1，特征提取器2，源域標簽分類器，域判別器1，域判別器2的參數；Gf1,Gf2,Gy,Gd1,Gd2分別是特征提取器1，特征提取器2，源域標簽分類器，域判別器1，域判別器2；ns,nt分別是源域和目標域樣本的數量；yi,di分別是類別標簽和域標簽；λ1,λ2是權重系數；域判別器1，域判別器2，源域標簽分類器均使用交叉熵函數通過迭代訓練使得總的loss達到最小，模型達到最優，使用訓練好的特征分類器和源域標簽分類器進行目標域識別分類。其中特征提取器1和2的結構相同，仍采用文獻[7]中的特征提取網絡，如圖3所示，域分類器1和域分類器2的結構相同，其網絡參數如圖4（左）所示，源域標簽分類器網絡參數如圖4（右）所示，這里源域標簽分類器的輸入為特征融合后的512維而不再是256維。

圖4 域分類器參數（左）和源域標簽分類器參數（右）

3 仿真驗證及分析

3.1 數據集制作

本小節主要介紹訓練和測試數據集的生成，本文數據集制作流程采用文獻[4]中的方式。本文設置了萊斯多徑信道環境進行數據集的制作以研究在復雜電磁環境中域適應技術性能。

1）數據源

數字調制的數據源使用莎士比亞的整個古登堡作品的ASCII碼產生，使用白化隨機以確保等符號和比特。

2）調制

隨機比特序列依照相應調制方式進行基帶星座映射，再進行上采樣和脈沖成型。本文所需識別調制類型包含8種常見數字調制信號，按順序分別為8PSK、BPSK、CPFSK、GFSK、PAM 4、QAM 16、QAM 64，QPSK，其中樣本長度為2×128，其中2代表IQ 2路信號，128代表樣本長度。

3）通過信道

信道模型如圖6所示，包括采樣率偏移、中心頻率偏移、萊斯多徑衰落、高斯白噪聲。其中產生數據集的相關參數如中碼速率主要由sps（sample per symbol）調節，當采樣率固定，sps不同時，信號的碼速率也不相同，因此形成不同的域，sps=4、8、16將分別充當源域和目標域來進行交叉驗證，可組成6對源域和目標域組合。為引用方便起見，分別將sps=4、8、16的3個域的數據集命名為A、B、C數據集。數據集相關參數見表1。

表1 數據集相關參數

圖6 信道模型

3.2 實驗環境設置

實驗使用深度學習的環境語言配置為Python 3.8.0，Pytorch 1.8.0，cuda10.2，系統為Windows 10專業工作站版20H2版本，硬件使用的CPU為Intel(R)Core(TM)i7-9750H，顯卡為NVIDIA GeForce GTX 1650，內存為32 GB。batch size為1 024，類別分類器和域分類器使用Adam優化器進行優化，學習率設為1e-3。

3.3 不同碼速率下域適應模型分類性能

本小節中定義的調制識別性能指標為：

在A、B、C數據集上分別使用3種算法進行性能對比測試以評估提出的算法：

1）有監督學習

稱該類方法為Supervised，即訓練集和測試集數據分布相同時的傳統智能調制識別算法，這里目標域有充分的有標簽樣本進行訓練。對目標域訓練調制數據進行充分訓練后，在目標域測試調制數據上直接進行測試，這里又將Supervised分為兩種，即單模態Supervised和多模態Supervised，單模態Supervised的輸入為目標域的F1時域模態特征，識別網絡使用DANN中的特征提取器和源域標簽分類器，剔除域分類器，最終優化目標僅包含標簽分類損失；多模態Supervised的輸入為目標域的F1時域和F 2頻域多模態特征，識別網絡使用本文提出的網絡中的特征提取器1、特征提取器2、特征融合和源域標簽分類器，同樣剔除域分類器1和域分類器2，最終優化目標僅包含標簽分類損失。設置有監督學習算法進行性能對比測試的目的是探究域適應的識別精度的可能上限。

2）在源域上訓練、目標域上直接測試

稱該類方法Source-Only，即訓練集和測試集數據分布不相同時的傳統智能調制識別算法，這里的目標域完全沒有標簽樣本。對源域訓練調制數據進行充分訓練后，在目標域測試調制數據上直接進行測試，這里又將Source-Only分為兩種，即單模態Source-Only和多模態Source-Only：單模態Source-Only的輸入為源域的F1時域模態特征，識別網絡使用DANN中的特征提取器和源域標簽分類器，剔除域分類器，最終優化目標僅包含標簽分類損失；多模態Source-Only的輸入為源域域的F1時域和F2頻域多模態特征，識別網絡使用本文提出的網絡中的特征提取器1、特征提取器2、特征融合和源域標簽分類器，同樣剔除域分類器1和域分類器2，最終優化目標僅包含標簽分類損失。設置該類算法進行性能對比測試的目的是探究域適應在解決調制識別域適應問題上的性能增益。

3）DANN單模態識別模型

稱該類方法DANN，即訓練集和測試集數據分布不相同時的單模態調制識別域適應算法，這里目標域沒有標簽樣本。對源域和目標域訓練調制數據進行充分訓練后，在目標域測試調制數據上直接進行測試，這時輸入為源域的F1時域模態特征，識別網絡如圖2所示。

實驗得到的結果如表2所示，表中所示識別率均表示在目標域測試集上進行測試得到。從實驗結果中可以看出，本文提出的網絡在大多數調制識別跨域適應任務上優于Source-Only和DANN方法，其中相比于單模態Source-Only最大提升了26.3%的識別精度，相比于多模態Source-Only最大提升了20%的識別精度，相比于DANN方法提升了2.5%～4%的識別精度。這些實驗結果表明了通過將調制信號的多模態和域對抗技術相結合可以有效學習到更加全面的域間相關信息并進行領域遷移。

表2 結果分析對比

4 結束語

本文提出一種基于多模態域對抗神經網絡的調制識別算法，在域對抗神經網絡基礎上同時使用時域和頻域的多模態信息對齊源域和目標域調制信號的數據分布,以提升調制識別算法性能。仿真實驗表明，提出的算法相比于在源域訓練、目標域直接測試的方法總識別率最大提高26.3%，相比于單模態域適應調制識別算法總識別率提高2.5%～4%，證明基于多模態的深度域對抗神經網絡在源域和目標域的數據分布不同時仍有較好的效果，具有較好的應用前景和研究價值。