改進的一致性正則半監(jiān)督輻射源個體識別方法

呂昊遠，俞 璐

(陸軍工程大學 通信工程學院，江蘇 南京 210007)

0 引 言

由于輻射源設備內部硬件制造工藝差異而產生的輻射源細微特征，對于檢測并識別具有個體特性的輻射源有著重要作用。輻射源個體識別通過檢測手段獲得輻射源細微特征，提取出反映目標身份的信息，確定特定輻射源個體，針對性地對目標個體進行有效監(jiān)控[1]。近年來通信輻射源個體識別已成為情報偵查、通信干擾、電子對抗等領域的研究熱點，是現代電磁空間環(huán)境中控制信息權的關鍵環(huán)節(jié)，在通信網絡結構分析和電子設備管制等方面發(fā)揮著巨大作用[2]。

與傳統(tǒng)的識別方法相比，快速發(fā)展的深度學習為輻射源個體識別提供了新的思路，如圖1所示，無需專家先驗知識的深度網絡通過強大的表征能力，直接從獲取的信號樣本中提取個體細微特征并進行分類識別[3]，可以節(jié)省大量的科研成本，具有很高的學術研究價值和廣闊的實際應用前景。

圖1 深度學習的個體識別過程

但有監(jiān)督學習的深度模型需要充足的有標簽樣本，在非合作通信條件下，獲取到的具有標簽信息的輻射源信號樣本數目非常有限，但實際環(huán)境中又存在大量的無標簽信號樣本，針對這種狀況，近期的研究已經取得了一定的成就，文獻[4]提出的基于偽標簽的輻射源個體識別方法，有效地提升了深度網絡的識別準確率。文獻[5]設計出適合于輻射源信號樣本的自編碼器，通過自編碼器的降維提取信號樣本特征，再經過有監(jiān)督的網絡微調訓練，實驗驗證了方法的可行性。文獻[6]將自編碼器改進成為矩形網絡，提取到更加精準的個體特征。文獻[7]在樣本集的構建上提出創(chuàng)新，將信號數據轉化為圖片，以簡單的特征轉換方法增強了實用性。但這些方法仍然存在一定的波動偶然性，如何根據少量的有標簽信號樣本和大量的無標簽信號樣本精準迅速地提取輻射源個體特征，研究出更加高效的端到端半監(jiān)督個體識別方法還有待研究。

本文提出改進的一致性正則半監(jiān)督輻射源個體識別方法，在3種一致性正則方法的基礎上，加入偽標簽正則項改進算法過程。并根據實際輻射源設備采集的信號數據設計Inception深度網絡驗證算法性能，并與全監(jiān)督方法、偽標簽半監(jiān)督方法、自編碼器特征提取方法、改進前的一致性正則方法進行對比，實驗結果表明，相同的數據集設置條件下，本文方法能夠達到優(yōu)于其它方法的識別性能。

1 一致性正則半監(jiān)督

半監(jiān)督學習策略中，對于無標簽樣本來講，一致性正則方法在實際的深度模型訓練中有著巨大的優(yōu)勢，可以有效避免面對“小樣本”問題時深度模型容易陷入過擬合的困境。分別介紹一致性正則的概念和3種基于一致性正則的半監(jiān)督深度學習模型。

1.1 一致性正則

很多損失函數都有一致性(consistency)的含義，KL散度和交叉熵都是在訓練中最小化深度網絡預測和樣本標簽間的差值[8]，從而希望兩者能夠一致，所以一致性就是一種非常內在而本質的目標，在達到這個目標的過程中，可以讓深度網絡得到有效的訓練，學習到樣本內在的不變性[9]。

但在半監(jiān)督學習中，大量的無標簽樣本沒有類別標簽，為了利用好這些無標簽樣本使其發(fā)揮出最大作用，提出了不需要標簽信息的一致性正則方法，其基本概念就是，對于一個固定的樣本輸入，即使受到了多次的加噪干擾，深度網絡對其每次的預測結果都應該一致。

一致性正則具體應用在半監(jiān)督深度學習方法中的思路是，對于有標簽樣本，使用標準的交叉熵損失函數計算網絡預測和真實標簽間的誤差，保證少量有標簽樣本訓練擬合；而對于無標簽樣本，就需要使用一致性正則方法，即最小化無標簽樣本的多次預測結果之間的差值[10]，最后加入權重系數將有監(jiān)督損失與無監(jiān)督損失兩部分結合，構建出總的半監(jiān)督損失函數。

1.2 π模型

圖2 π模型算法流程

π模型中大量的無標簽樣本也參與到算法的訓練之中，大幅降低了模型對于有標簽樣本的依賴。

1.3 時序組合模型

圖3 時序組合模型算法流程

在具體的算法中，上一迭代周期的預測值，并不只是一個周期的預測結果，而是引入指數移動平均(exponential moving average，EMA)思想，將之前所有周期預測結果加權平均累加，再通過偏差校正提高較近迭代周期預測值的比重，最終得到預測標簽值，其中t為訓練中的迭代次數

(1)

加權平均操作既可以穩(wěn)定當前的預測結果，減弱早期迭代周期中產生的不穩(wěn)定結果，對于某一次錯誤的預測值可以起到平滑的作用，對錯誤預測有一定的容忍，也能很好地保留歷史信息，使得模型具有更強的魯棒性。

1.4 師生模型

圖4 師生模型算法流程

教師網絡不直接參與訓練，也無需梯度反向傳播更新網絡參數，其參數值由原有的學生網絡之前迭代周期中的參數經過加權平均得到。

師生模型的核心思想中，深度網絡既充當學生，又充當教師。師生關系就是：作為學生，利用教師模型產生的目標進行學習提高識別準確度，作為教師，對于無標簽樣本產生的預測結果作為學生學習時的目標，從而形成一個良性循環(huán)。θt為學生網絡在第t個迭代周期中的參數，教師網絡參數θ′t的移動計算形式為

θ′t=αθ′t-1+(1-α)θt

(2)

在時序組合模型中，無標簽樣本的目標標簽來自模型前幾個迭代周期預測結果的加權平均。而在師生模型中，無標簽樣本的目標標簽來自教師模型的預測結果。由于是通過模型參數的加權平均來實現標簽預測，因此在每個訓練批次中都可以把無標簽中的信息更新到模型中，而不必像時序組合模型需要等到一個訓練周期結束再更新，在穩(wěn)定預測值的基礎上，有效緩解了網絡更新緩慢帶來的滯后性的問題。

2 深度學習方法設計

通過分析偽標簽半監(jiān)督個體識別方法的優(yōu)劣，提出在一致性正則半監(jiān)督方法的基礎上加入偽標簽正則項的改進思想，并設計出適合本文實采信號數據的Inception深度網絡結構。

2.1 方法改進

偽標簽半監(jiān)督輻射源個體識別方法中，使用少量有標簽信號樣本預先訓練深度網絡，利用熵最小化獲得置信度高的預測分布作為無標簽信號樣本的偽標簽，無標簽信號樣本的交叉熵損失中將偽標簽作為訓練目標，這一部分就是整體損失函數中的偽標簽正則項。

偽標簽輻射源個體識別方法存在著一些問題，當無標簽信號樣本數目所占總數目比重大時，模型在測試集上的識別準確率不太理想，訓練初期的深度網絡對于大量的無標簽信號樣本中的特征信息無法正確表征，會產生錯誤的預測干擾偽標簽的正確賦值，網絡進一步會受到錯誤偽標簽的訓練指導，在訓練過程中產生較大的波動影響最終結果。但偽標簽的思想中降低模型識別概率的熵，可以將網絡對于無標簽信號樣本的識別概率集中到某一類，對于將決策面靠近低密度數據分布區(qū)域還是有很大的作用[13]。本文在一致性正則半監(jiān)督方法基礎上，加入偽標簽正則項，改進算法訓練過程，重新構建總的損失函數。

DL是有標簽信號樣本集，f(x,η;θ) 表示網絡參數為θ，η是跟噪聲有關的參數，深度網絡對于樣本x的標簽預測值，定義有標簽信號樣本預測標簽和真實標簽之間的交叉熵損失函數

(3)

DU是無標簽信號樣本集，y′是深度網絡對無標簽信號樣本賦予的偽標簽，定義無標簽信號樣本預測標簽和偽標簽之間的交叉熵損失函數

(4)

定義所有信號樣本的均方誤差，計算一致性損失

(5)

ω1(t)和ω2(t)是權重系數，控制偽標簽正則項和一致性正則項在總體損失函數中的相對占比重要性，最后結合3部分損失，定義深度模型總的損失函數

(6)

太小的權重系數對于提升模型性能有限，太大又會使性能退化，由于訓練前期網絡的預測準確度不高，所以ω1(t)初始值為0，隨著訓練迭代次數的增加而緩慢增長(增長過快會使模型陷入局部最優(yōu))并最終固定。t是迭代次數，T1和T2是兩個固定閾值(T1

(7)

ω2(t)表現為高斯增長函數，其初始值較小，也隨著訓練迭代次數的增加而緩慢增長并最終固定

(8)

改進的一致性正則半監(jiān)督算法流程如圖5所示。

圖5 改進的一致性正則算法流程

具體的算法訓練過程如下：

(1)將少量有標簽信號樣本輸入加入Dropout的深度網絡，計算得到的預測標簽和真實標簽之間的交叉熵損失(師生模型中只需由學生模型的預測結果和真實標簽比較)。

(2)將無標簽信號樣本輸入深度網絡，將預測值作為樣本的偽標簽，再次經過網絡預測得到預測標簽值，計算和偽標簽之間的交叉熵損失。

(3)將全部信號數據輸入深度網絡，計算得到的兩個預測標簽值之間的一致性損失(3個模型的兩個預測值實現方式見表1)。

(4)把3部分損失進行加權平均計算構建總的損失函數，梯度反向傳播更新網絡參數(師生模型中只需更新學生模型參數，通過學生模型的參數移動平均得到教師模型)。

(5)重復步驟(1)～步驟(4)，直至網絡訓練結束。

表1 不同模型預測值的實現方式

2.2 網絡結構設計

深度學習中加深神經網絡層數是提升深度模型性能的有效方法，但也會使得網絡參數量增大，在“小樣本”條件下很容易訓練過擬合[14]。Inception網絡用到密集成分近似或代替局部稀疏結構的思想，以網絡寬度換取識別準確度，其中不同大小的卷積核意味著不同尺度特征的融合，使得提取個體特征更為精準[15]。

本文在Inception v1基礎上，根據輸入信號樣本的形式以及對網絡的需求關系，設計出如圖6所示的Inception模型，除輸入輸出層外，中間的特征提取過程包括3條卷積路線和兩個全連接層。

圖6 Inception結構

網絡的輸入信號樣本維數為2×128，3條卷積路線中，第一條路線的卷積核大小分別為(1，1)和(1，3)，第二條路線的卷積核大小分別為(1，1)和(1，8)，第三條路線的卷積核為(1，1)。3條路線輸出連接后通過展平轉換為一維序列再進入全連接層，第一個全連接層的神經元個數為256，第二個全連接層神經元個數為5，對應5個輻射源個體識別的五分類問題，最后通過Softmax層進行分類，訓練過程中通過梯度反向傳播持續(xù)優(yōu)化網絡參數。除最后一層使用Softmax激活函數，其余層使用Relu激活函數，并且在每層后連接至Dropout層進行正則化，參數設置為0.3，實驗選用Adam優(yōu)化器。

3 實驗與分析

本節(jié)中介紹實驗條件，包括所用信號數據的采集方式和深度模型訓練過程中參數的設置，分析實驗結果，比較不同訓練集和參數設置條件下不同方法的性能。本文實驗運行在一臺惠普OMEN Lapto-p 15筆記本電腦上，硬件配置CPU為Intel(R) Core(TM) i7-10870H 2.2 GHz，GPU為Nvidia RTX 2070 Max-Q，內存為DDR4 8G×2，使用Anaconda(2020.02)+PyTorch(1.7.1)+PyCharm的軟件開發(fā)環(huán)境構建深度學習模型并實現算法的訓練與測試。

3.1 數據集準備

IQ信號數據已經被證實了非常適用于深度學習輻射源個體識別方法[16]，本文實驗直接將IQ信號數據輸入至深度網絡中進行特征提取。使用基于LabVIEW的輻射源數據采集方法實際采集到5臺USRP N210設備的信號數據，圖7展示了發(fā)射端的實物圖。

圖7 發(fā)射端實物

其中數據采集過程中的采樣參數設置見表2。

表2 采樣參數設置

圖8展示了具體的信號數據采集過程，虛線框中表示在實驗室環(huán)境下，輻射源設備的通信間隔為1 m，中間無障礙物時信號的發(fā)射與接收，再將獲取的原始信號數據經過數模轉換和IQ正交雙路解調輸入至計算機。

圖8 樣本采集過程

采集到5臺輻射源設備的IQ兩路載波信號數據，對采集到的信號數據進行預處理，用數據清洗的方式去除采樣幀初始階段中幀間切換時產生的不規(guī)則樣本點，并且進行功率歸一化的比例變換，圖9所繪制的是一臺輻射源設備經過預處理后的部分IQ數據圖，選取了100個數據點。

圖9 IQ信號數值

根據輻射源設備個數將輻射源個體進行類別標號，設置5類標簽值，接著將信號數據按照一定比例分為訓練集和測試集，訓練集中的信號樣本在輸入模型前加入數據增強操作，包括樣本數組的隨機數值遮擋和樣本數組的翻轉，最終完成樣本數據集的構建。

3.2 實驗參數設置

實驗選取訓練集中的少量信號樣本作為有標簽訓練集和大量信號樣本作為無標簽訓練集。將劃分好的有標簽和無標簽信號樣本輸入一致性正則半監(jiān)督深度模型中，其中無標簽信號樣本在輸入深度模型之前去除了標簽信息，標簽值只用在每次訓練迭代后計算無標簽信號樣本的識別準確率，不投入深度網絡指導訓練。

3個一致性正則模型在半監(jiān)督算法中的參數設置見表3，其中包括訓練過程中的迭代次數、控制權重系數的閾值數T1和T2、偽標簽正則項的固定權重ωf、參數移動平均值α、有標簽信號樣本輸入網絡的batch size、Adam優(yōu)化器學習率大小。需要注意π模型中沒有移動平均參數，無標簽信號樣本的batch size根據與有標簽信號樣本的比例大小做相應的設置。

表3 模型訓練參數設置

3.3 不同模型性能對比實驗

實驗中將改進的3種一致性正則半監(jiān)督方法與全監(jiān)督方法、偽標簽半監(jiān)督方法、自編碼器特征提取方法、改進前的一致性正則半監(jiān)督方法進行對比。表4和表5分別展示了當有標簽樣本數為1000和2000時，在不同的有標簽訓練集與無標簽訓練集的比例大小的設置條件下，9種方法在包含900個信號樣本的測試集上的識別準確率(通過100次蒙特卡洛實驗得出)，其中帶*的為改進后添加偽標簽正則項的一致性正則半監(jiān)督方法。

表4 識別準確率(1000個有標簽樣本)

表5 識別準確率(2000個有標簽樣本)

固定有標簽信號樣本數目，隨著無標簽信號樣本數目增多，模型的識別準確率也會增大，但超過一定范圍，過多的無標簽樣本數據會加大模型對于標簽錯誤預測的概率，使得訓練過程中受到影響并出現較大的波動，導致最終的識別性能下降。當有標簽信號樣本數目為1000時，一致性正則半監(jiān)督方法的性能提升更為明顯。這說明在標簽信號樣本數目較少的情況下，一致性正則半監(jiān)督學習在訓練過程中才更能體現出避免過擬合增強魯棒的特性。

表6展示了不同模型從訓練開始到訓練結束的時長。全監(jiān)督算法由于訓練集規(guī)模小，訓練過程簡單，所以訓練時間最短。π模型由于在訓練過程中每次迭代網絡都要預測兩次，而師生模型中學生網絡和教師網絡各預測一次，所以兩種模型訓練時間較長，師生模型在每個訓練批次中都有參數移動平均更新教師模型的參數，所以相比于π模型，師生模型訓練時間更長。偽標簽算法訓練時間較短，這是因為時序組合模型中所有數據都參與了無監(jiān)督訓練部分，而偽標簽算法中只有無標簽數據參與無監(jiān)督訓練。

圖10 測試集混淆矩陣

表6 模型訓練時間/s

3.4 不同深度網絡對比實驗

選擇與前文同樣的訓練集設置條件，表7展示基于不同深度網絡結構下3種一致性正則模型的識別準確率。對比Inception網絡和簡單的全連接網絡以及CNN網絡的識別準確率，Inception提取到不同尺度特征有利于識別任務，達到了最好的識別效果。

表7 不同深度網絡下的識別準確率/%

3.5 參數變化對比實驗

圖11繪制了隨著Adam優(yōu)化器學習率數值的減小，3種一致性正則模型識別準確率變化的折線圖。可以發(fā)現，當學習率為0.001時有著最好的識別性能，學習率設置過大會增加模型難以收斂的風險，設置過小會使模型訓練緩慢，易陷入局部最優(yōu)。

圖11 不同學習率下的識別準確率

改變投入模型樣本的長度，測試3種模型在測試集上的識別準確率，實驗結果如圖12所示，較短的樣本長度不利于特征提取，識別準確率較低，樣本長度在128時達到穩(wěn)定，長度繼續(xù)增長識別率也不會有明顯變化，而且會大大增加訓練時間，甚至會出現過擬合降低泛化性能的現象。

圖12 不同樣本長度下模型識別準確率

4 結束語

針對輻射源個體識別技術在真實環(huán)境中面臨著“小樣本”問題，本文提出改進的一致性正則半監(jiān)督個體識別方法，介紹了半監(jiān)督學習中一致性正則方法的基本思想以及3種一致性正則半監(jiān)督深度模型的算法過程，加入了偽標簽正則項進行方法改進，重新定義算法的訓練過程，構建總的損失函數，并且根據實際樣本數據集的采集情況設計Inception深度網絡結構進行算法性能的驗證。

通過分析不同方法在實際采集的5臺USRP輻射源數據集上的分類結果，可以看到改進后添加偽標簽正則項的一致性正則半監(jiān)督方法的識別性能明顯提升，當有標簽信號樣本數為1000和2000，所占樣本總數的四分之一時，師生模型分別得到92.19%和97.96%的最高識別準確率，通過實驗也驗證了設計的Inception深度網絡和選擇的學習率、樣本長度參數的有效性。下一步的工作中，會在深度網絡對于輻射源個體特征的具體提取形式以及訓練過程中超參數設置等方面繼續(xù)深入研究探索。