基于混合注意力原型網絡的調制識別算法

龐伊瓊,許華,蔣磊,史蘊豪,彭翔

(空軍工程大學 信息與導航學院,陜西 西安 710077)

通信信號調制識別技術是電磁頻譜管理、通信偵察、電子對抗等領域的關鍵技術之一。傳統的調制識別方法可分為基于決策論的似然比檢驗方法(likelihood-based,LB)[1]和基于特征提取的模式識別方法(feature-based,FB)[2],但這兩類方法都有其局限性。LB方法的分類模型參數是針對特殊環境設置的,任何微小偏差都會使識別準確率下降;FB方法依賴于人工提取的特征,對于特征的表征性要求較高。近年來,深度學習技術展現出了強大的數據處理能力,在圖像識別、機器翻譯、目標檢測等領域都有大量研究的成果。2016年O′Shea[3-4]等首次將深度卷積神經網絡(convolution neural network,CNN)用于解決調制識別問題,通過與傳統FB方法對比,證明了利用深度CNN對大量密集編碼的時序信號直接進行學習是可行的。目前,已經有大量的研究成果[5-7]將深度學習技術應用于調制識別領域,CNN與循環神經網絡(recurrent neural network,RNN)[8-10]的組合網絡也進一步提高了不同樣式調制信號的識別準確率。然而以上基于深度學習的調制識別算法的成功很大程度上依賴于大量的訓練數據,但在實際偵察環境中,面對新出現的調制類型,往往無法獲得足夠的帶標簽樣本,限制了深度學習在調制識別中的應用。因此需要對小樣本條件下的調制識別方法進行深入研究。

數據增強[11](data augmentation,DA)和遷移學習[12](transfer learning,TL)是目前針對樣本數據量不足的主要解決方法。數據增強借助已有的一些信息生成新數據,擴充訓練樣本集。文獻[13]中通過一個全連接網絡對大量無標簽數據進行自動標注,當每類信號樣本量只有600時就能達到85%以上的平均識別率。遷移學習通常先通過源數據集對網絡模型進行預訓練,然后采用目標數據集對網絡的頂層進行參數微調,適用于目標數據集與源數據集分布相似的問題。通過使用基于參數的遷移學習方法[10,14-15]對網絡模型進行預優化,減少了對樣本量的需求。文獻[10]采用預訓練過的AlexNet網絡進行調制識別,在目標數據集每類信號樣本量只有100時就達到了89%以上的識別準確率。上述方法要達到較好的識別性能仍需至少數百個訓練樣本,然而偵察環境中有時只能獲取十幾甚至幾個信號樣本,遠不能滿足以上2種方法對樣本量的需求,在這種極少量樣本條件下，以上2種方法都難以適用。

人類善于用以往學習的經驗指導對新事物的學習,例如首次見到老虎的兒童可能會將其描述為一只腦袋上有“王”字的“大花貓”,“大花貓”作為已知概念有助于兒童快速掌握“老虎”這個新事物。受此啟發針對元學習的研究應運而生。元學習[16]也稱學會學習,即令模型可利用以往任務中學過的知識或經驗去快速學習新的任務,近年來在解決小樣本問題方面取得了很大的進展。在訓練過程中,元學習可以通過對每一項歷史任務的學習,積累一定的知識經驗,如網絡的參數更新策略[17]、初始化參數[18]等,這使得學習新任務時更加容易,從而在極少的訓練樣本支持下也能保證算法精度。度量學習[19]在解決小樣本問題時將已知樣本和待測樣本映射到合適的特征度量空間,通過指定的距離函數計算2個樣本間的距離,從而度量它們之間的相似性。

本文結合度量學習與元學習的思想,提出一種基于混合注意力原型網絡的調制識別算法。在原型網絡框架下設計了由CNN與長短時記憶(long short-term memory,LSTM)網絡級聯的特征提取網絡,同時為進一步提高網絡性能,在特征提取網絡中引入了卷積自注意力模塊(convolutional block attention module,CBAM)。該原型網絡通過特征提取網絡將帶標簽信號樣本和待識別信號樣本映射至統一的特征度量空間,在該空間內將同類信號的均值作為類原型代表該類信號,并通過比較待識別信號與不同類原型之間的歐式距離來確定最終識別結果。為實現元學習目的,算法采用一種基于Episode的訓練策略優化模型參數,即通過從訓練集中隨機抽樣出大量不同的小樣本學習任務來模擬測試場景的識別任務。模型通過訓練將學習到一個合適的特征度量空間,進而在面對新類型的調制信號時只需要極少量樣本就可以實現快速分類。

1 相關工作

1.1 原型網絡

原型網絡的基本思想是創建每個類的類原型點,并根據類原型點與測試點之間的歐氏距離進行分類。具體地,給定支持集DS和查詢集DQ,則類原型為DS中每類信號樣本的平均特征向量,其中第k類信號的類原型可表示為

(1)

式中：fφ表示特征提取網絡;φ為網絡參數；xkn表示第k類的第n個樣本；K表示DS中第k類樣本的樣本量。

假設x為來自DQ的待識別樣本,通過計算樣本x的特征向量與各類原型間的歐式距離,并將所得距離利用Softmax函數進行歸一化處理,樣本x屬于第k類樣本的概率為

(2)

式中，d表示一種距離度量函數,一般為歐氏距離。

訓練過程中利用負對數概率損失函數J(φ)=-lnpφ(y=k|x)計算損失,并使用隨機梯度下降法最小化訓練損失。

1.2 訓練策略

本文算法針對極少量帶標簽樣本下的調制識別難題,給定訓練集Dbase和測試集Dnovel,其中Dbase內包含多種類型的調制信號,且每類調制信號都擁有大量帶標簽信號樣本;Dnovel由支持集DS和查詢集DQ組成,即Dnovel={DS,DQ},DS中每類調制信號含有少量帶標簽樣本,DQ中為未知的待識別信號樣本。測試集中查詢集DQ和支持集DS的樣本標簽空間相同且與訓練集Dbase的樣本標簽空間不相交。在測試時網絡模型需要在只有DS中少量帶標簽樣本的條件下識別出DQ中未知信號的調制樣式,即DS和DQ組成一個識別任務。若DS中包含C類調制信號,且每類信號都擁有K個樣本,將此類任務稱為C-wayK-shot任務。

為充分利用訓練集內的帶標簽樣本,采用一種基于Episode的訓練策略,即在訓練時模擬測試過程中的小樣本設置,從訓練集中采樣多個小樣本的任務對網絡進行優化,使訓練好的模型可以泛化到測試環境中。具體地,針對C-wayK-shot任務,在每次訓練迭代過程中,網絡模型都從Dbase中隨機地選擇C種類別信號組成樣本集DV,然后從DV的每類信號中隨機抽取K個樣本組成元支持集DTS,DTS模擬測試階段的支持集DS,最后再從集合DV-DTS(DV中不屬于DTS的樣本)中的每類信號中隨機抽取NQ個樣本組成元查詢集DTQ,DTQ用于模擬測試階段的查詢集DQ。通過這種訓練策略優化得到的模型對測試階段新類型的信號樣本具有良好的泛化性能。訓練過程中損失函數J(φ)的迭代計算偽代碼如表1所示。

表1 訓練偽代碼

2 基于混合注意力原型網絡的調制識別算法

2.1 算法模型

本文算法整體框圖如圖1所示,算法模型可分為2個模塊:特征提取模塊和類原型度量模塊。為提取到信號樣本更具代表性的特征,其中特征提取模塊設計為由CNN和LSTM級聯的特征提取網絡(CLN),CLN可充分提取信號不同維度的特征;同時通過在CLN中引入CBAM使得網絡在特征提取過程中更加關注對分類有益的特征。模型通過特征提取模塊將信號樣本映射至統一的特征度量空間,由類原型模塊進行距離度量并確定待識別信號的調制樣式。

圖1 混合注意力原型網絡算法整體框圖

本文算法的實現可分為訓練和測試2個過程。根據元學習思想,算法在訓練過程中采用一種基于Episode的訓練策略,該策略不針對特定信號的識別進行訓練,而是利用在每次訓練迭代過程中隨機選取的幾類信號組成識別任務去訓練網絡,使網絡學習如何將原始信號轉化為更易于分類的表示,即在訓練過程中學習分類的經驗。通過大量不同識別任務優化得到的模型對新任務具有良好的泛化性能,根據以往的經驗可在測試過程中只有極少量帶標簽樣本條件下實現對新類信號的識別。

2.2 CLN-CBAM特征提取模塊

針對信號序列內的時序特征,本文設計由CNN和LSTM搭建的特征提取模塊CLN,可充分提取信號不同維度的特征,同時在CLN網絡中引入CBAM模塊,組成CLN-CBAM特征提取模塊,其中CBAM模塊可以從通道域和空間域2個維度建立特征權重向量,使網絡更加關注對分類有益的特征。

2.2.1 卷積注意力模塊

CBAM注意力模塊是一種簡單且高效的注意力模塊,其是輕量級的通用模塊,運算開銷很小,故可集成到任何前饋CNN架構中,并與基礎卷積網絡一起進行端到端的訓練,CBAM的整體結構如圖2所示。CBAM是一種結合通道(channel)和空間(spatial)的注意力機制,每個子注意力模塊通過增加關鍵特征的權重比值,抑制冗余特征,提高深度神經網絡的性能。通道注意力模塊和空間注意力模塊如圖3～4所示。

圖2 CBMA注意機制整體結構

圖3 通道注意力模塊

圖4 空間注意力模塊

2.2.2 CLN-CBAM特征提取網絡

本文所提特征提取網絡CLN-CBAM結合了不同神經網絡的性能優勢,并引入了卷積注意力模塊,有助于原型網絡算法識別準確率提升。CLN-CBAM網絡中包含5個卷積塊,卷積塊由1個卷積層、1個批量歸一化層、1個ReLU激活函數和1個最大池化層組成。為防止網絡在訓練過程中出現過擬合,在最大池化層后設置1個Dropout層,并在每個卷積塊后插入CBAM模塊。本文仿真所用數據為通信信號的I、Q 2路分量,數據格式為[1 024,2],基于此卷積核大小分別設置7×2,5×2,3×2,2×1,2×1,卷積核數量分別為16,32,64,128,256,最大池化層核大小都設置為3×1。卷積塊完成特征提取后,將特征序列展開成一維數據送入全連接層,最后再通過LSTM輸出特征。網絡結構如圖5所示。

圖5 CLN-CBAM結構圖

2.3 算法實現流程

本文算法利用訓練集模擬測試階段的識別場景,訓練完成的網絡可泛化到測試過程的C-wayK-shot任務,具體實現步驟如下:

步驟1信號樣本采樣。從訓練集中隨機選取C類樣本,并從每類樣本中隨機抽取K個樣本組成元支持集DTS,再從每類剩余樣本中隨機抽取NQ個樣本組成元查詢集DTQ。

步驟2特征映射。由CLN-CBAM特征提取網絡將DTS和DTQ中的樣本映射到低維的特征度量空間,得到DTS和DTQ中信號樣本的特征向量。

步驟3類原型度量。將DTS中每類信號的平均特征向量作為類原型,并計算DTQ中樣本特征向量與各個類原型的歐氏距離,將歐氏距離輸入Softmax函數,計算查詢樣本屬于每個類的概率,由負對數概率損失函數計算損失對網絡進行訓練。

步驟4由測試集(測試集與訓練集標簽空間不相交)對網絡進行測試。將含有少量帶標簽信號樣本的支持集DS和待識別信號樣本送入訓練好的特征提取網絡,由類原型度量模塊確定待識別信號的調制樣式。

3 實驗仿真與結果分析

實驗選取RadioML2018.01A公開調制信號集[4]驗證本文所提算法性能。該信號集由24種調制信號組成,各個信號包括I、Q 2路數據,數據格式為[1 024,2],信噪比分布從-20～30 dB,間隔為2 dB。本文算法訓練和測試階段所用信號樣本的標簽空間不相交,隨機選取14種調制信號作為訓練集,另外10種作為測試集,在信噪比為-20～30 dB的條件下進行實驗仿真。訓練集、測試集調制樣式如表2所示。

表2 實驗數據集

實驗模型在python深度學習神經網絡pytorch框架下進行搭建,硬件平臺為基于windows 7、32 GB內存、NVDIA P4000顯卡的計算機。實驗模型采用端到端的訓練方式,Adam優化網絡,初始學習率為0.001,測試階段從測試集中采樣1 000組相互獨立測試任務來計算算法的識別準確率,并采用所有測試任務識別準確率的平均值來表示算法最終的識別性能。

3.1 支持集樣本量(K值)對識別性能影響

為驗證元支持集/支持集內每類信號樣本量(K值)對本文算法識別準確率的影響,本節在K值分別為1,5,10,15,20時進行對比實驗。網絡訓練集和測試集如表2所示，特征提取模塊為CLN-CBAM網絡。本節仿真實驗針對5類調制信號的識別任務,即5-wayK-shot任務,元查詢集/查詢集樣本量NQ設置為10。不同樣本量下算法測試識別準確率隨信噪比的變化情況如圖6所示。

圖6 不同K值下算法識別準確率變化曲線

本文所提原型網絡通過比較待測信號樣本特征向量與支持集內各類信號類原型間的距離確定識別結果,信號類原型取支持集內各類調制信號樣本特征向量的平均,故改變支持集中信號樣本量(K值)會對算法的識別準確率產生影響。如圖6所示,隨著支持集內信號樣本量K的增加,算法的測試識別準確率也在進一步提升。這是由于在特征度量空間中支持集內的每類信號都存在一個類原型點,各類原型點間相互遠離,原型網絡將每類信號樣本特征向量的平均值作為該類信號的類原型估計點,隨著樣本量K值增加,會減少真實類原型點與類原型估計點間的偏差,降低信號識別時產生的期望風險,有助于提升算法的識別準確率。從圖6可以看出,當支持集內信號樣本量K較小時,K值的增加對網絡識別性能提升有較大影響,然而當K值大于5后,增加樣本量對算法識別性能的提升效果趨緩。例如在測試信號信噪比為20 dB時,當支持集內每類信號樣本量K值從1增加到5時,算法的識別準確率提升了9.01%,但當K值從5增加到10時,算法識別準確率僅提升了1.23%,這表明本文算法更適宜解決帶標簽信號樣本只有幾個的調制識別問題。

3.2 樣本類別量(C值)對識別性能的影響

在支持集內每類信號包含5個樣本時,驗證樣本類別量C值對于網絡識別準確率的影響,設置任務支持集內信號類別量C為3,5,10,元查詢集/查詢集內信號樣本量NQ值為15,當算法特征提取模塊為CLN-CBAM,對比C-way 5-shot測試任務平均識別準確率,不同類別量(C值)下信號識別率隨信噪比變化曲線如圖7所示。

圖7 不同C值下算法識別準確率變化曲線

從圖中可以看出隨著支持集樣本類別量C值增加,網絡識別性能下降。當測試任務支持集內包含10類調制信號樣本時,在信號信噪比為20 dB時算法識別精度只有75.52%,相較于支持集中含3類調制信號時減少了15.45%。這是由于支持集內樣本類別的增多會增加網絡模型的學習難度,提升在度量空間判斷2個信號特征相似性的復雜度,使得網絡訓練不易收斂,進而導致算法識別性能下降。

3.3 不同特征提取網絡下算法識別性能分析

為驗證本文所提CLN-CBAM特征提取網絡對于本文原型網絡算法識別性能的影響,實驗設置CLN、CLN-CBAM、ConvNet、Resnet18[20]、Resnet18-CBAM、Resnet34[20]6種不同網絡作為本文算法模型的特征提取模塊。采用表2所示數據集,在5-way 5-shot任務下進行訓練測試,元查詢集/查詢集樣本量NQ設置為15,不同特征提取模塊下實驗測試平均識別準確率隨不同信噪比水平的變化如圖8所示。采用不同特征提取網絡所需訓練的網絡參數量以及訓練時間如表3所示。

圖8 不同特征提取網絡下原型網絡的識別性能

表3 網絡參數量和訓練時間

由圖8可得,當信噪比大于10 dB時,采用本文所提的CLN-CBAM特征提取網絡的算法識別性能最優。主要原因在于本文所提特征網絡結合了CNN與LSTM的性能優勢,可同時提取到調制信號的空間特征與時序特征,對比ConvNet特征提取網絡,采用CLN特征提取網絡的算法識別準確率在信噪比為20 dB時提升了4.67%,同時為使所提特征向量更具代表性,本文在CLN特征提取網絡中引入了CBAM模塊,使得網絡在提取信號樣本特征時能夠更加關注對分類有益的部分,實驗結果表明在測試信號信噪比為20 dB時,CLN-CBAM特征提取網絡算法針對5-way 5-shot測試任務的平均識別準確率為85.68%，相較于CLN特征提取網絡下的算法識別準確率提升了5.01%。由表3可知,對比Resnet18、Resnet18-CBAM、Resnet34特征提取網絡,CLN-CBAM所需訓練的網絡參數和訓練時長都更少,但采用CLN-CBAM特征提取網絡的算法識別性能更優,這是由于Resnet網絡只能提取信號樣本的空間特征,特征向量代表性較低,增加特征提取網絡復雜度無法有效提升算法的識別性能。

3.4 不同小樣本學習算法性能對比分析

為驗證本文所提算法相較于其他小樣本調制識別算法的性能優勢,本節選取基于數據增強(data augmentation,DA)和基于遷移學習(transfer learning,TL)的小樣本調制識別算法以及另外3種元學習算法進行對比實驗,分別為關系網絡(relation network,RN)[21]、匹配網絡(Matching Networks,MN)[22]以及模型無關元學習(model agnostic meta learning,MAML)[23]。選取16APSK、32QAM、FM、AM-SSB-SC、4ASK 5類調制信號組成信號樣本集,為保證實驗結果的可靠性,將該樣本集作為DA和TL算法的數據集以及本文算法和RN、MN、MAML算法的測試集,將其余19類調制信號用于元學習算法的訓練階段。當測試信號信噪比為20 dB時,不同算法下的最高識別準確率以及實現最高識別準確率時所需樣本量如表4所示。本文算法與對比算法針對5類調制信號在訓練/支持集每類信號樣本量為“5-shot”時的測試識別準確率隨信噪比的變化情況如圖9所示。

表4 不同小樣本調制識別算法性能對比

圖9 不同小樣本調制識別算法識別準確率對比

從圖9中可以看出,TL和DA算法的識別性能明顯低于4種元學習算法,相較于本文算法,當測試信號信噪比為20 dB時,TL和DA算法在“5-shot”時識別準確率分別降低了37.81%和53.3%,主要原因在于TL和DA算法在信號樣本量只有幾個時訓練無法收斂,從而導致算法識別性能的顯著下降。由表4可知,TL和DA算法要實現最優的識別性能至少需要數百個訓練樣本,無法解決只有幾個帶標簽信號樣本條件下的調制識別問題。同時對比本文算法與RN、MN以及MAML 3種元學習算法,本文算法取得了最優的識別效果,分析其原因在于,RN和MN方法屬于基于度量的元學習方法,不同之處在于,RN通過神經網絡度量樣本間的相似度,MN采用余弦距離度量樣本間的相似度,而本文原型網絡算法采用歐氏距離度量樣本間的相似度,歐氏距離屬于Bregman散度,利用Bregman散度的性質[19],可使不同類調制信號樣本集合在特征度量空間內的差異性最大,故可取得更好的識別效果。MAML通過對多個任務的學習為網絡尋找到一個最優的初始化參數,使得網絡在面對新類別信號的識別任務時能夠快速適應,但MAML算法在面對新類信號識別任務時需要對網絡進行微調,由于樣本量較少,難以適用參數量較大的網絡,這限制了網絡識別性能的進一步提升。從實驗結果可知,在測試信號信噪比為20 dB時,本文算法相較于MAML算法的識別準確率在樣本量為“5-shot”下提高了29.97%和18.45%。

3.5 數據集樣本類別對網絡的影響

本文算法仿真實驗所用數據集由24類調制信號組成,其中包含19類數字調制信號和5類模擬調制信號,數字調制信號又分為調幅、調相、調頻等多種不同調制信號,不同類的調制信號具有不同的特點,識別難度也相對不同。由于本文所提原型網絡算法在訓練階段和測試階段所用信號樣本的標簽空間不相交,故訓練集和測試集中樣本類別的選取也會對網絡識別準確率產生一定影響。根據各類調制信號的特點將數據集劃分為4種不同分集進行對比實驗,為使實驗結果更具代表性,每次劃分數據集都選取5類調制信號組成測試集,10類調制信號組成訓練集,具體劃分方式如表5所示。

表5 實驗數據集分集

本次實驗設置特征提取模塊為CLN-CBAM網絡,驗證在5-way 5-shot學習任務下測試集的識別準確率,當信噪比為20 dB時,實驗結果如圖10所示,4種不同分集的識別準確率分別為92.67%,82.63%,79.46%,82.78%,不同分集之間識別準確率有一定差異。由表5可知,分集1,2,3的訓練集都是由數字調制信號組成,而分集3的測試識別準確率最低。分集3的測試集由5種不同進制的相移鍵控(phase shift keying,PSK)調制信號組成,不同進制PSK信號間相似度較高,容易造成混淆,提高了識別難度。分集1的測試集是由不同類數字調制信號組成,各類信號相似度較低,且與訓練集中的數字調制信號有一定相似度,故分集1的測試識別準確率最高。分集2測試集都為模擬調制信號,測試識別準確率相較于分集1有明顯下降,但由于不同模擬調制信號特征間有一定差異,故相較于分集3測試識別準確率有一定提高。分集4由隨機挑選出來的調制信號組成,訓練集與測試集都包含數字調制信號與模擬調制信號,在信噪比20 dB時,測試識別準確率可達82.78%。由實驗結果可知,本文所提算法可適應訓練集與測試集樣本類別不同的場合,特別地,當訓練集與測試集樣本類別差距較大時,該算法也能較好完成小樣本的調制識別任務,并且使用樣本類別豐富度更高的訓練集有利于識別準確率的提高。

圖10 數據集樣本對識別準確率的影響

4 結 論

本文針對極少量帶標簽樣本條件下的調制識別難題,結合度量學習與元學習的思想,提出一種混合注意力原型網絡的調制識別算法。根據調制信號樣本特征設計了由CNN與LSTM級聯的CLN特征提取網絡,并在當中引入CBAM模塊,可使網絡提取到的信號特征更具代表性。實驗結果驗證了本文所設計的CLN-CBAM特征提取網絡可進一步提高原型網絡算法的識別性能。同時為更好地從少量數據中學習,算法以元學習的方式進行訓練,即利用訓練集模擬測試時的識別場景,學習信號分類的經驗。訓練完成的網絡模型具有很好的泛化性能,在測試時面對新類信號,即使只有幾個帶標簽樣本也能保證算法的識別性能算法。仿真實驗結果進一步驗證了本文算法解決小樣本調制識別問題的可行性。本文算法信號識別率還有一定提升空間,后續將在此基礎上進行更深入的研究。