基于集成學習與特征降維的小樣本調制識別方法

史蘊豪, 許 華, 鄭萬澤, 劉英輝

(空軍工程大學信息與導航學院, 陜西 西安 710077)

0 引 言

通信信號調制方式識別是通信偵察、認知電子戰領域的關鍵技術之一,在實際戰場環境中,由于敵我雙方的非協作特性,使得在還原敵方通信信號、獲取敵方情報信息之前必須進行調制方式識別。此外,通信信號調制方式識別也為后續的信號解調、比特流分析、協議識別、信號解密、靈巧干擾等提供了重要支撐。

調制識別技術發展至今,無論是傳統方法還是近些年興起的深度學習方法均已取得杰出的研究成果。傳統方法方面,文獻[1-3]利用信號高階累積量實現調制信號分類,文獻[4-5]通過提取信號循環譜特征區分信號不同調制方式,文獻[6-7]利用信息熵特征實現信號分類。深度學習方法方面,O’shea等人[8-9]最早于2016年利用有監督深度學習技術實現調制方式識別,直接使用卷積神經網絡構建端到端的學習模型,成功對11種數字或模擬調制方式進行了識別。Jeong等人[10]提出利用短時傅里葉變換將信號從時域轉換為時頻域,并通過深度卷積神經網絡提取時頻域特征,最終完成了7種調制方式的識別,其在-4 dB的信噪比下仍有90%以上的識別正確率。Fan等人[11]提出了一種聯合噪聲估計的調制識別算法,該算法同時將原始信號數據和信噪比作為神經網絡的輸入,仿真結果顯示這種算法在不同信噪比和不同頻偏下的識別成功率已經接近理論識別率的上限。Zhang等人[12]利用卷積神經網絡提取信號SPWVD時頻圖特征和BJD時頻圖特征,并與大量手工特征融合對8種調制方式進行識別,在信噪比為-4 dB時仍有92.5%的識別準確率。

雖然近些年基于深度學習的調制識別方法在識別性能方面逐漸超越傳統人工特征方法,但是深度學習類方法需要大量帶標簽信號樣本作為支撐,一旦帶標簽樣本量不足,模型的識別性能就會發生急劇下降。隨著信號采集方式的多樣化以及存儲技術的高速發展,現階段獲取大量無類別標記信號樣本變得相當簡單,但是若想獲得同樣量級的有類別標記信號則相當困難,這是由于數據的類別標記工作一般需要耗費大量的人力、物力和時間。在實際戰場環境中,電磁頻譜中會出現大量信號,將這些信號采集下來后逐一打上標簽是不現實的,無法適應瞬息萬變的戰場態勢,因此研究有標簽信號樣本不足的小樣本調制識別問題就顯得尤為重要。

通過總結大量專家研究成果發現,小樣本問題產生的根本原因是傳統方法通過固定模式處理信號序列提取信號特征,從而可利用低維度特征表示信號。然而,深度學習類方法由于網絡參數多、擬合難,需要大量的樣本才能完成低維特征提取。另一方面,分類器訓練特征時所需樣本量也是隨著特征維度呈指數增長。因此，如何有效減小特征數量,并盡可能利用低維度特征表示高維信號序列是解決小樣本問題的核心所在。若能利用低維度特征表征原始時序信號,則可極大減小分類器所需訓練樣本。針對上述思路,本文提出一種基于集成學習與特征降維的小樣本調制方式分類模型。該模型通過集成人工設計特征與機器學習自動提取特征構成融合特征集,再針對性地設計特征選擇算法對融合特征集進行優選生成高效特征子集,最后設計高性能分類器對少量有標簽信號進行訓練,從而解決有標簽訓練樣本不足導致的小樣本問題。

1 識別模型

基于集成學習與特征降維的小樣本模型本質思想是利用低緯度特征表征原始信號,降維對高維小樣本問題行之有效,信號降維主要包括特征提取和特征選擇兩方面。本文擬提取信號最具表征性、區分度的特征并降維,從而達到減少有標簽訓練樣本數的目的。如圖1所示,本文算法主要分為3個階段,第1階段為特征提取階段,利用傳統方法提取對信號區分能力強的人工特征,與此同時利用機器學習類方法中的自編碼器網絡對樣本進行無監督訓練,自動提取低維信號特征,而后將兩類特征進行融合重組。第2階段為特征選擇階段,運用自主設計定的特征選擇算法綜合選出一定數量的最具區分能力的特征,生成最優特征子集。第3階段為分類階段,利用少量有標簽樣本對高性能分類器進行有監督訓練,從而完成信號小樣本條件下的分類識別。

圖1 算法總體框架

2 信號特征提取

2.1 人工特征提取

在調制識別領域中,眾多研究人員已進行大量特征工程研究,設計了很多卓有成效的特征用于信號分類,并取得了優異的結果。因此,利用前人的研究成果提升信號分類效率是重要的研究切入點。本文擬提取多類表征性強、區分度高的特征作為信號人工特征,包括信號高階累積量、信息熵特征以及時頻特征。

2.1.1 信號高階累積量特征

在調制技術領域,高階累積量是應用非常廣泛的特征之一,由于其具有較強的周期分量,可用于準確識別不同的調制信號。為提取高階累積量,首先要計算信號的高階矩,序列信號x(n)的高階矩計算公式為

Mp q=E[x(n)p-q(x*(n))q]

(1)

通過信號各階高階矩便可計算得到各類高階累積量,本文選擇下列高階累積量,這些累積量均已被證明在調制信號分類識別中有較好鑒別能力[13-14],即

(2)

(3)

(4)

(5)

(6)

2.1.2 信息熵特征

熵是用于評價信號或系統狀態平均不確定性的指標。在信息論領域,熵用于衡量信息的信息量,信息的不確定程度越大,則其熵值越大,因此信息熵理論提供了一個很好的信號特征描述方法。本文擬提取信號的功率譜熵、奇異譜熵和能量譜熵,以此作為信號的特征[15]。

(1)功率譜熵

假設時間序列X長為L,對其進行離散傅里葉變換,變換結果為

(7)

(8)

記

(9)

將式(9)代入香農熵計算公式,即可得到功率譜香農熵。

(2)奇異譜熵

奇異譜分析是近年來非常流行的一種研究非線性時間序列數據的方法,其結合相空間重構和奇異值分解對時間序列維數進行估計。假設一段離散時間序列為

X=[x1,x2,…,xN]

首先將信號分段,假設分段長度為m,在奇異譜分析過程中,m最好為信號周期的整數倍且不宜超過信號序列長度的1/3,重構后的序列軌跡矩陣為

(10)

對式(10)進行奇異值分解,可得

(11)

式中,U和V均為正交矩陣;U為左奇異矩陣;V為右奇異矩陣；Σ矩陣可化為對角陣,即

式中,σk表示矩陣M的奇異值且除對角線上元素以外其余值均為零,對角線上的非零元素便構成了序列的奇異值譜,即

σ={σ1,σ2,…,σi,…,σj|j

記pi表示非零奇異值σi占所有非零奇異值之和的比值:

(12)

將式(12)代入香農熵計算公式,即可得到奇異值香農熵及奇異譜指數熵。指數熵的計算公式為

H=E[e1-pi]=∑pie1-pi

式中,H表示熵值;pi表示信號概率分布。

(3)能量譜熵

對于序列信號X=[x1,x2，…，xN],其能量譜定義為

(13)

式中,X(ω)表示序列X的傅里葉變換。記pi為

(14)

將式(14)代入指數熵計算公式,即可得到信號能量譜指數熵。

2.1.3 歸一化中心瞬時振幅的功率密度最大值

歸一化中心瞬時振幅的功率密度最大值可在一定程度上反應不同信號的譜特征[16],其定義為

(15)

ac n(i)=an(i)-1

(16)

an(i)=a(i)/ma

(17)

(18)

式中,Ns表示信號序列長度;ma表示信號瞬時幅度的均值。

2.2 自編碼器特征提取

自編碼器作為一種無監督機器學習算法可以在不借助標簽信息的前提下學習數據的稀疏表示,近些年已有許多學者將其應用至信號調制方式識別中。例如,文獻[17]使用兩個并行自編碼器完成信號調制方式識別,文獻[18]利用卷積自編碼器直接作用于信號序列以提取信號特征。

自編碼器結構包括編碼器和解碼器兩部分,輸入數據首先通過編碼器進行降維操作,再通過解碼器進行數據重構,通過約束中間層的維度并最小化重構數據與輸入數據間的誤差,從而達到特征映射的目的,在整個過程中雖然并未涉及輸入信號的標簽信息但卻完成了信號特征提取的功能。本文設計了圖2所示的自編碼器結構用作信號特征自動提取,自編碼器網絡總體上由卷積層和全連接層構成。在信號輸入自編碼器網絡之前,首先對信號進行加噪處理,由于通過自編碼器后需重構原始無噪數據,因此自編碼器提取的特征具有抗噪能力,也更具魯棒性。本文網絡選用高斯噪聲干擾信號,噪聲系數為0.1。信號輸入后首先通過兩層卷積層對其進行特征提取,而后通過三層全連接層對特征進行降維、再升維處理,最后再通過兩層卷積層對信號進行重構,使得網絡輸出信號格式與輸入格式保持一致。

圖2 自編碼器結構

(19)

式中,f(x)表示自編碼器中編碼器函數部分;h(x)表示自編碼器中解碼器函數部分。通過最小化損失函數,約束輸入輸出之間的重構誤差,便可以低維中間層特征表示高維信號,從而達到特征提取的目的。

3 特征選擇算法

與前兩節所述的特征提取方法不同,特征選擇方法指的是從全部原始特征集中選擇最相關的特征子集以此降低特征向量維度。相較于特征提取方法,特征選擇方法更加側重于揭示特征與特征間、特征與類別間的因果關系。在以往的調制方式識別算法中,選用傳統手工特征還是利用機器學習方法自動提取信號特征一直存在爭議,兩類方法也各自具有優勢,因此本文先對兩類特征進行融合,再使用特征選擇算法進行綜合篩選,選取其中最具區分度的特征。一個好的特征選擇算法不僅可以幫助降低訓練分類器所需樣本數量,剔除冗余或不相關特征,還可以提升模型運行速度,加快算法收斂速度和降低硬件要求。

由于本文研究的是小樣本條件下的信號識別問題,因此在特征選擇時既有少量有標簽的信號,同時還存在大量無標簽的信號,即需要使用半監督特征選擇算法進行特征選擇。近些年,國內外學者也提出了各式各樣的特征選擇算法,例如文獻[19-25]。其中,文獻[24]通過信息熵理論設計了隨機變量的對稱不確定性,用于度量特征與特征之間的冗余性、特征與類別之間的相關性,在多個數據集上均有良好的表現；文獻[25]則最大程度的利用了無標簽樣本,確保了所選特征子集優于僅用有類別標記數據的特征選擇算法。本文綜合文獻[24]的快速過濾特征選擇(fast correlation-based filter, FCBF)算法和文獻[25]的半監督代表特征選擇(semi-supervised representatives feature selection, SRFS)算法設計了新的半監督特征選擇算法。

該方法的流程圖如圖3所示,整個特征選擇過程主要分為兩個階段,具體內容如下。

圖3 特征選擇過程

(1)刪除不相關特征

有標簽信號可利用標簽信息直接求出特征與標簽之間的互信息量作為衡量特征重要性的標準。互信息是兩個隨機變量共同信息量的度量,假設特征為隨機變量X,信號標簽為C,p(x)、p(c)和p(x,c)分別表示X、C、(X,C)的概率密度函數,則隨機變量X與C的互信息量I(X,C)定義為

(20)

無標簽信號雖然沒有標簽信號可以利用,但是其本身包含的自信息量也可在一定程度上指導特征選擇。在信息論中,熵可用來度量特征自身包含的信息量,對于隨機變量X,熵的計算公式為

(21)

當計算出各個特征與標簽的互信息量與自信息量后,通過F-相關性判別特征Fi是否為不相關特征,F的計算公式為

F_Rel(Fi,C)=βI(Fi,C)+(1-β)H(Fi)

(22)

(2)刪除冗余特征

第一步刪除不相關特征后得到去相關特征子集{F1,F2,…,FM},將待選的特征按照F-相關性進行降序排列,F-數值越大則排名越靠前。而后從前到后依次計算特征與類別間的F1-相關性,以及特征與特征之間的F2-相關性,F1-的計算公式為

F1_Rel(Fi,C)=βUI(Fi)/H(Fi)+(1-β)SU(Fi,C)

(23)

式中,UI(Fi)表示特征Fi與其他所有特征的互信息量的均值;SU(Fi,Fj)為特征Fi與Fj的對稱不確定性。其計算表達式分別為

(24)

(25)

F2-的計算公式為

F2_Rel(Fi,Fj)=βSU(Fi,Fj)+(1-β)USU(Fi,Fj)

(26)

式中,USU(Fi,Fj)表示特征Fi與Fj的無監督對稱不確定性,具體表述為

(27)

UI(Fi;Fj)=UI(Fi)-UI(Fi|Fj)=

(28)

本文設定式(29)為冗余判別條件,若滿足該條件則將Fj視為冗余特征刪除,在刪除過程中優先保留F-排序靠前的特征,迭代結束后最終剩余的即為最終選出的特征子集。

F1_Rel(Fi,C)≥F1_Rel(Fj,C)∩F2_Rel(Fi,Fj)≥

F1_Rel(Fj,C)

(29)

4 仿真驗證

本文選用的調制信號集為{BPSK、4PSK、8PSK、8QAM、16QAM、64QAM、4PAM、8PAM},共計8種調制信號。各個信號序列長度L=128,包括I、Q兩路數據,信號數據格式為[2, 128],訓練集每類信號生成5 000個信號樣本,信噪比隨機,共計40 000個信號樣本。這其中包含800個帶標簽信號樣本,每類100個,其余均為無標簽樣本;測試集每個信噪比點生成100個樣本,信噪比從-10 dB至20 dB,間隔為2 dB,共計16個信噪比點,12 800個信號,所有信號均由Matlab R2016a仿真生成。

網絡訓練均基于Python下的tensorflow、keras深度學習框架實現,硬件平臺中CPU使用Intel(R)Core(TM)i7-8700, GPU使用NVIDIAGeForce 1060。

4.1 人工特征提取分析

本節將對第2節遴選出的人工特征性能進行仿真驗證,實驗對8類調制信號在-10 dB至20 dB間每個信噪比點取100個樣本,提取信號的10種人工特征并取平均值,將其中具有代表性的特征并繪圖,得到如圖4所示的特征曲線。在進行信號奇異譜分析時,由于信號序列長度L=128,且基帶序列為隨機生成無周期特性,因此設置分段長度m=43;在計算序列離散傅里葉變換時,由于要求傅里葉變換點數靠近序列長度且為2的整數冪,因此設置傅里葉變換點數N=128。由圖4可以看出,隨著信噪比的不斷上升,不同類別信號的特征值差距逐漸增大并逐漸趨于平穩,這有助于對信號進行分類。但同時可以看出,每個特征均存在不好區分的調制類別,因此本文選擇將所有特征融合起來再由特征選擇算法進行自動選擇。通過本節可視化的特征實驗可以看出,本文所選人工特征具有較好的調制信號區分能力。

圖4 信號特征曲線

4.2 自編碼器特征提取分析

本節將對自編碼器特征提取效果進行實驗驗證,使用每類5 000個無標簽信號樣本,共計40 000個無標簽訓練樣本對自編碼器進行無監督訓練。自編碼器結構如第2.2節所示,網絡訓練過程中batch_size設置為500,共迭代100個epochs。輸入和輸出間使用MSE衡量損失,使用ADAM優化器進行優化,網絡輸入、輸出信號格式均為[2, 128]。訓練結束后保存網絡參數,再將所有信號輸入網絡進行計算,利用編碼層對信號樣本進行壓縮,觀察編碼器與解碼器的輸出。信號壓縮重構后的結果如圖5所示,其中圖5(a)～圖5(d)分別表示BPSK、8PSK、16QAM、64QAM信號輸入I、Q序列、輸出I、Q序列、中間層編碼器輸出特征向量。

圖5 自編碼器輸入輸出

通過圖5可以看出,經過自編碼器重構后信號波形并未發生明顯變化,這表示信號經過網絡重構后輸入端與輸出端誤差較小,意味著中間層的低維1×30特征在一定程度上可代表原始信號2×128的I、Q數據。

自編碼器訓練過程中的損失值隨迭代次數的變化情況如圖6所示,可以看出,隨著網絡不斷迭代,輸入與輸出間的重構誤差即訓練損失不斷減小,輸入信號與重構信號不斷逼近。

圖6 自編碼器訓練損失

4.3 調制信號識別性能分析

本節將對調制信號識別性能進行綜合探究,首先利用第4.2節訓練好的自編碼器提取所有信號樣本低維度特征,而后將低維度特征與第4.1節中的手工特征融合,共計40維送入特征選擇器內,通過選擇后生成優選特征子集,再利用少量帶標簽樣本對分類器進行訓練。

在本節實驗中,送入特征選擇器的特征集為{f1,f2,…,f40},其中前10維特征為手工特征{f1，f2，…,f10},分別代表{奇異譜香農熵、功率譜香農熵、C40、C42、C60、C61、C63、能量譜香農熵、奇異譜指數熵、歸一化中心瞬時振幅功率密度最大值},后30維特征{f11，f12，…,f40}為自編碼器網絡自動提取的編碼器輸出層特征。

特征選擇過程中,本文設定參數β=0.38,α=4。經過特征選擇算法選擇后,選出的最優特征子集為{f3、f7、f8、f9、f10、f12、f16、f19、f21、f27、f32、f36、f37}共計13維特征,所得特征比率為32.5%。

將特征選擇后的13維特征子集送入分類器中,利用800個帶標簽信號對其進行監督訓練。本文最終選擇的分類器為淺層BP神經網絡,之所以選擇淺層BP網絡作為特征分類器是因為淺層網絡參數量級小,僅需少量訓練樣本就可快速收斂擬合,因此非常適用于本文設定的小樣本場景。此外,BP網絡相較于傳統分類算法具有可學習性的優勢,可自動學習各個特征對分類結果影響的權重,這在一定程度上也起到了抑制弱相關特征的目的。BP網絡結構如圖7所示,網絡輸入層神經元個數與特征維度相同,特征輸入后首先對其進行批量歸一化,而后接入全連接層,全連接層神經元個數分別為16、32、16,再將全連接層的輸出送入Softmax分類器。各神經元均采用ReLU激活函數。為提升網絡的泛化能力,在第2、第3層全連接層后使用Dropout技術干擾訓練以防止網絡過擬合,以提高網絡在測試樣本上的泛化能力,本文Dropout比例設置為0.1。

圖7 BP網絡結構

經過訓練后分類器的識別性能如圖8所示。其中,圖8(a)表示信噪比為20 dB時的信號識別混淆矩陣,不同信噪比下各個信號的識別率如圖8(b)所示,可以看出分類器在高信噪比條件下除對64QAM、8PAM的識別有一定錯誤率外,其余信號均可以做到準確識別,這在小樣本條件下已是較好性能。

圖8 本文算法在20 dB時識別性能

當不使用特征選擇算法,分別直接利用10維手工特征、30維自編碼器特征、40維融合特征對BP網絡分類器進行訓練,得到圖(9)所示在信噪比為20 dB時的混淆矩陣。其中,圖9(a)表示10維手工特征訓練所得的混淆矩陣,圖9(b)表示30維自編碼器特征訓練所得的混淆矩陣,圖9(c)表示聯合10維手工特征與30維自編碼器不進行特征選擇,直接送入BP網絡訓練所得的混淆矩陣。

圖9 對比效果

通過圖9可以看出,不論是分別采用某種單獨方法或是聯合特征后不進行特征優選,信號的識別性能相較本文算法較差。當利用10維手工特征時,信號最高識別率在20 dB為93.1%,利用30維自編碼器特征時,信號最高識別率在20 dB為89.8%。當使用10維手工特征與30維自編碼器不進行特征優選時,信號最高識別率在20 dB僅有83.7%。本文算法的識別率在信噪比大于14 dB時可達90%以上,最高識別率在20 dB時可達96%,可以看出通過特征融合優選后信號識別率得到了一定程度的提升。此外,可以看出當特征維度較高時信號識別性能有所下降,比如直接對40維特征直接進行訓練,信號的最高識別率只有83.7%,這是因為在小樣本條件下分類器無法對高維特征較好擬合所導致的性能下降。上述4類方法在各個信噪比點的識別率對比曲線如圖10所示。此外,本節選擇3類特征選擇算法作為比較對象以驗證本文特征選擇算法的效果,分別為mRMR[26]、FCBF、SRFS。其中,mRMR、FCBF都是利用數據標簽信息的有監督特征選擇算法,SRFS是基于圖論的半監督特征選擇算法。考慮到上述3種算法中均需設置相關度閾值以剔除不相關特征,因此本節設定相關度閾值α=4與本文算法相同,在SRFS算法中設置控制變量β=0.38也與本文相同。由于對比的3種特征選擇方法都與具體分類器算法是無關的,但需通過分類算法來評估特征選擇方法所選特征子集的優劣,因此本節將各算法選擇出的特征集送入BP網絡,利用800個帶標簽樣本進行監督訓練,對比其分類識別準確率。各特征選擇算法所選特征數目、特征子集與選擇時間如表1所示。可以看出,不利用無標簽樣本的特征選擇算法mRMR與FCBF的選擇時間非常短,但其所選特征子集不夠精簡,而SRFS算法由于其需要構建有向無環圖且僅從各子圖中選取一個代表特征,因此其子集精簡但比較耗時。

表1 各選擇算法所選特征子集

圖10 不同方法識別率對比曲線

各個算法所得特征比率如圖11所示,其中mRMR所選特征比率為65%,FCBF所選特征比率為47.5%,SRFS所選特征比率為17.5%,本文算法所得特征比率為37.5%。

圖11 特征比率直方圖

將各特征選擇算法選出的特征子集送入BP網絡,利用少量帶標簽樣本進行有監督訓練,所得不同信噪比下的識別率曲線如圖12所示。可以看出,本文算法所選出的特征子集相較于其他3種算法在淺層BP網絡中的識別性能有一定優勢。當信噪比為20 dB時,利用mRMR算法所提特征訓練出的分類器最高識別率為90.5%,利用FCBF算法所提特征訓練出的分類器最高識別率為92.1%,利用SRFS算法所提特征訓練出的分類器最高識別率為93.9%,但均低于本文算法的96%。

圖12 不同特征選擇算法識別性能

為驗證本文設計的淺層BP網絡參數的最優性以及相較其他分類算法是否具有優勢,本文首先對比不同激活函數、優化器、隱藏層層數條件下神經網絡的識別性能,得到了圖13所示的仿真結果。

圖13 BP網絡參數性能分析

通過實驗結果可以看出,選用Relu激活函數的網絡識別率相較于Sigmoid與Tanh激活函數有一定優勢。基于Adam優化器的網絡識別性能相較于SGD與Adagrad優化器有一定提升。在基于不同隱藏層數的對比實驗中,本文堆疊經元個數為32的中間隱藏層,分別對比中間隱藏層數為1層、3層、5層時不同信噪比下的識別準確率,可以看出隨著中間隱藏層數目的增加,網絡識別準確率下降幅度很大。這是由于隨著隱藏層數目的增加網絡參數規模呈指數式上漲,僅有少量的有標簽訓練樣本根本無法優化如此量級的網絡,從而造成了嚴重的過擬合問題,最終導致識別性能的急劇下降。

最后,本文對比BP網絡,XGBOOST分類器,KNN分類器[27]的識別性能,分別利用800個有標簽信號的13維優選特征對上述3個分類器進行訓練,得到各個分類器的收斂速度和最高識別率,如表2所示。對比實驗中,所選的XGBOOST分類器為KERAS庫中所屬。可以看出淺層BP網絡在訓練時間基本相當的情況下,識別準確率較XGBOOST和KNN算法也有一些優勢。

表2 不同分類器性能對比

5 結 論

本文針對實際戰場中信號調制識別領域可能出現的小樣本情況進行探究,提出了一個全新的結構,該結構將傳統方法與機器學習方法巧妙結合,融合了分類能力強的人工特征與自編碼器自動提取出的特征。然后，再利用特征選擇算法對融合后特征進行自動選擇,從而利用盡可能低維的特征表征原始信號。最后，使用分類器訓練低維度特征,形成了小樣本條件下通信信號分類新的解決方案,通過實驗也驗證了本文設計方案的可行性。但本文仍存在許多不足,比如本文算法對低信噪比條件下信號的識別率并無明顯提升,這將作為下一步研究的重點。