陳毓坤, 于 暉, 陸寧云,*
(1. 南京航空航天大學自動化學院, 江蘇 南京 211106; 2. 中國電子科技集團公司第三十八研究所, 安徽 合肥 230088)
軍事用途的相控陣雷達一般置于偏遠邊疆,要求全天候工作,在連續大負荷工作模式和惡劣環境下,元器件故障不可避免會發生,維修計劃之外的突發性故障輕則影響雷達探測性能和數據有效性,重則引起任務中斷,設備使用效能下降而維護成本劇增。T/R組件是相控陣雷達中故障頻次最高的部件之一[1],由于其故障成因繁多,難以建立準確的故障模型和專家知識庫。雷達系統的數字化,以及信號處理技術和機器學習的發展,為基于數據的雷達故障診斷方法研究提供了良好的條件。
深度學習模型作為智能模型的典型代表,被廣泛應用到復雜系統的故障診斷中[2-4]。按訓練數據有無標簽,深度學習算法可分為有監督學習[5]、無監督學習[6]和半監督學習[7]3種。有監督學習需要大量帶標簽數據訓練模型以得到特征與故障標簽間的映射關系。小波變換[8]、傅里葉變換[9]、經驗模態分解[10]等信號處理技術常被用于對數據進行特征提取,篩選與故障狀態強相關的特征輸入深度學習模型以進行訓練。文獻[11]引入小波包能量熵和多尺度位移熵計算不同故障下變速箱振動信號的特征矩陣,然后基于閾值自適應深度置信網絡(deep belief network, DBN)提取故障特征,對提取的特征進行故障分類。文獻[12]直接將軸承振動數據輸入DBN,利用堆疊受限玻爾茲曼機(restricted Boltzmann machine, RBM)學習特征表示并實現故障識別,避免了手動特征提取和選擇。但在實際應用中,大部分樣本沒有標簽,監督學習不再適用。
無監督學習不需要先驗信息,根據數據的分布規律進行聚類。傳統的無監督學習算法有主成分分析(principal components analysis, PCA)[13]、聚類算法[14]等。現階段主要有兩類深度學習模型被用于無監督特征提取,一類是利用自編碼器(auto-encoder, AE),從抽象后的數據中盡可能無損地重現原始數據[15];一類是基于概率型的RBM及其改進算法,使其達到穩定狀態時原數據出現的概率最大[16-17]。由于缺少標記數據的指導,難以保證模型準確性。
半監督學習是將監督學習和無監督學習相結合的一種方法,利用大量無標簽樣本自主學習特征分布,輔以少量帶標簽樣本實現模式識別。近年來,基于半監督深度學習的故障診斷方法得到廣泛關注與研究。文獻[18]針對電力系統中隱匿虛假數據入侵攻擊的真實數據與模擬數據的差異性問題,首先基于DBN對海量目標域無標簽樣本進行特征自學習,然后用仿真得到的源域有標簽樣本對模型進行再訓練,并結合遷移學習方法提高檢測精度。文獻[19]設計了一種基于深度卷積AE的半監督模型,根據AE的編碼特征直接診斷健康狀況,降低了故障診斷對標記數據的依賴。文獻[20]先用大量帶標簽的燃氣輪機正態分布數據訓練卷積神經網絡,再通過遷移學習重建模型映射規則,對少量樣本數據集提取特征,最后基于支持向量機(support vector machines, SVM)實現監督故障診斷。文獻[21]整合RBM、長短期記憶網絡、前饋神經網絡等多層深度神經網絡,從輸入數據中自動學習抽象特征,用于預測渦輪風扇發動機的剩余使用壽命。文獻[22]在自我訓練方法中使用偽標簽策略,在對抗訓練方法中使用監測數據,進行半監督學習。
半監督學習突破了傳統方法只使用一種樣本的局限,既充分利用了大量無標簽樣本數據資源,又避免了人工標記耗費的大量時間和精力,以及只使用少量有標簽樣本訓練造成的學習器泛化性能低下的問題。鑒于雷達裝備的實際監測數據大部分是無標簽的,無具體故障類型,很難被直接應用于深度學習模型,本文提出一種自適應優化的半監督深度學習方法,用于雷達T/R組件故障特征提取及智能診斷,主要創新點在于:① 利用DBN自主學習深層特征的優勢和深度AE無監督重構輸入數據的特點,直接從原始數據提取故障特征,增強了故障診斷智能性,解決了有標簽樣本稀缺的問題;② 針對基于深度學習模型進行故障識別時難以快速確定各隱層節點數量的問題,采用煙花算法(firework algorithm, FWA)優化網絡結構參數,進而提升故障診斷準確性。
相控陣雷達具有掃描速度快、探測距離遠、可靠性高等優點[23],應用前景廣闊。天線陣面子系統是相控陣雷達最重要的子系統之一,也是其具備先進性能的關鍵所在,系統結構如圖1所示。

圖1 相控陣雷達天線陣面子系統結構圖Fig.1 Structure diagram of phased array radar antenna array subsystem
該系統由成百上千個單元或子陣組成,并通過T/R組件實現發射信號的功率放大、接收信號的低噪聲放大、天線波束的相移及幅度控制[24]。T/R組件是相控陣雷達的核心部件,構成模擬收發通道,發射通道包含功率放大器、上變頻器,用于放大射頻信號功率;限幅器、低噪聲放大器和下變頻器是構成接收通道的主要器件,實現含噪接收信號的放大和變頻[25],圖2給出了T/R組件的結構框圖。

圖2 T/R組件結構圖Fig.2 Structure diagram of T/R module
現代相控陣雷達的T/R組件是高度集成的,將多個T/R組件和數字收發通道集成設計,形成一個最小可維修單元,稱為T/R模塊。通常是對一個模塊,而不是單個T/R組件進行換件維修,因此只需將故障隔離到某個T/R模塊。雷達機內測試能夠通過邏輯值對模塊故障進行報警,1代表正常,0代表故障,但不能指示詳細的故障原因,難以給設備排故提供充分的依據,致使維修維護工作效率低下,有時誤更換正常的元器件,造成資源浪費。為了明確具體的故障類型,還需要分析運行中采集的狀態數據,挖掘蘊含的故障信息。
依據雷達從實際運行維修中返回的數據以及專家知識,T/R模塊的常見故障模式有電源欠壓、電源過壓、發射通道故障、接收通道故障、發射和接收通道故障,故障表現如表1所示。

表1 雷達T/R模塊故障模式Table 1 Fault modes of radar T/R module
鑒于雷達系統中的有標簽數據十分稀缺,本文提出一種基于FWA優化的DBN-AE半監督深度學習方法,將無監督特征提取和有監督分類器學習進行結合。該方法的主要流程如圖3所示,實現步驟如下。

圖3 本文提出的特征提取及故障診斷算法流程Fig.3 Flowchart of feature extraction and fault diagnosis of the algorithm proposed in this paper
步驟 1對T/R模塊的故障模式進行定義和編碼。
步驟 2數據集構建:選取樣本數據和能表征模塊性能的狀態變量,進行數據預處理,并劃分訓練集和測試集。
步驟 3模型初始化:建立一個多層RBM模型,根據樣本特征維數確定輸入層節點數,初始化連接權重。
步驟 4無監督特征提取:采用預處理后的無標簽樣本和有標簽樣本對底層堆疊RBM進行逐層預訓練,使得模型參數適應所有樣本的特征表達,挖掘深層特征。然后,將預訓練好的RBM逐層展開,構建深度AE重構輸入特征。
步驟 5網絡結構優化:通過FWA最小化重構特征和原始特征之間的誤差,自適應優化網絡參數,保存確定的網絡權重和偏置值,作為下一步DBN有監督訓練的初始參數。
步驟 6有監督分類器學習:利用有標簽訓練集對預訓練好的RBM模型和Softmax分類層進行有監督再訓練,并反向微調權重和偏置。
步驟 7將測試集輸入訓練好的DBN,進行故障診斷。
2006年,Hinton等首次提出了DBN[26],DBN是由多個RBM[27]堆疊而成的概率生成模型。RBM模型的基本結構如圖4所示。

圖4 RBM結構Fig.4 RBM structure
對于一個包含n個可視層單元、m個隱藏層單元的RBM,其能量函數為
(1)
式中:vi∈{0,1}表示第i個可視層神經元的狀態;bi為可視層單元vi的偏置;hj∈{0,1}表示第j個隱藏層神經元的狀態;aj為隱藏層單元hj的偏置;wij為vi與hj的連接權重;θ=[a,b,w]為RBM的網絡參數?;谑?1)定義的能量函數,可視層與隱藏層之間的聯合概率密度分布為
(2)
式中:Z=∑v∑he-E(v,h|θ)為歸一化因子。通過式(2),得到可視層向量v的獨立分布為
(3)
隱藏層和可視層神經元的激活概率分別為
(4)
(5)
P(v)值最大時,RBM結構下的概率分布與輸入數據較為一致,因此預訓練優化目標函數為
(6)
為簡化計算,利用對比散度算法[28]求解RBM的最優參數θ,參數更新公式如下:
(7)
式中:ε為預訓練學習率;m為動量因子;t是迭代次數;〈·〉d和〈·〉r分別表示數據分布和模型分布的數學期望。
DBN特征提取的質量在很大程度上決定其故障診斷的性能,因此在將DBN模型用于分類之前,有必要驗證RBM提取的高層特征能否表征原始特征。本節將從RBM隱含層單元對數據重構的角度驗證所提模型的特征提取能力。
為觀察原始數據經RBMs無監督學習后的輸出特征狀態,最高層RBM的輸出不經過分類器,直接將隱含層重構數據逐層展開,建立一個深度自編碼器,稱為DBN-AE?;贒BN的重構網絡結構示意圖如圖5所示。其與傳統DBN最主要的區別是:DBN輸出的是標簽,屬于有監督學習;DBN-AE是無監督學習,編碼和解碼過程沒有帶標簽數據參與,輸出的是與輸入特征維度一致的重構特征。

圖5 DBN-AE結構示意圖Fig.5 Structure diagram of DBN-AE
RBMs的前向學習過程可以看作是AE的編碼過程,設輸入數據為x,可以用編碼形式簡單描述為
h=1/(1+exp(-wx-b))
(8)
而RBM隱層單元的重構相當于AE的解碼過程[29],對應的解碼函數定義為
(9)
式中:w為連接權重;b和c為對應的偏置參數。
在網絡的編碼、解碼重構中,信號被壓縮、重整,重構信號與原始信號會存在一定的差異,兩者的差異大小可用于衡量DBN-AE的特征提取能力。本文用均方誤差(mean square error, MSE)量化這一差異。設經過l層堆疊RBM的編碼輸出為ul(x),解碼輸出,即對初始樣本的重構為yl(x)?;谥貥嫈祿c原數據之間MSE的代價函數表示為
(10)
式中:n為樣本的數目。這一誤差越小,重構信號與原始信號的一致性越高,表明模型提取的深層特征越能夠在一定程度上表征原始特征。使用反向傳播(back propagation, BP)[30]算法對整個網絡進行調參,采用梯度下降方法最小化代價函數,對參數求偏導:
(11)
式中:θ=[w,b,c],1≤k≤l,更新參數展開得
(12)
迭代更新各層參數直至誤差處于穩定收斂狀態,獲得特征提取模型。
基于DBN-AE的特征重構步驟如下。
步驟 1數據預處理。
步驟 2將原始數據輸入第一層RBM的可視層單元v1,通過無監督貪婪學習算法自底向上逐層優化各層RBM的連接權值和偏置,直到所有的RBM都學習完成。這一過程對應AE的編碼過程,最高層RBM的隱藏層為得到的編碼特征。
步驟 3將RBM隱層單元的重構逐層展開,這一過程相當于AE的解碼,編碼部分和解碼部分的權重矩陣互為轉置,得到與原始特征對應的重構特征。
步驟 4基于BP算法對DBN-AE網絡的權重和偏置進行微調,使可視層單元和重構可視層單元之間的差異最小,得到能夠表征原始特征的編碼特征,實現無監督特征自學習。
為了快速確定網絡結構參數,本文運用FWA,通過最小化DBN-AE網絡的重構數據和原始數據的誤差,自適應選取網絡全局最優結構參數,進一步提高其無監督特征提取性能。
FWA[31]是模擬煙花爆炸現象而提出的一種群體智能優化算法,通過爆炸進行尋優,每個煙花的位置信息等同于解空間中的一個可行解。FWA具有局部搜索和全局搜索能力自調節、可并行運算、耗時短等優點,在路徑規劃[32]、參數優化[33]、模式識別[34]等領域得到廣泛應用。
第一次迭代時,先隨機生成N個初始煙花,逐一根據其相對于其他煙花的適應度值執行爆炸操作,產生火花。對于煙花xi,其爆炸半徑Ri和爆炸火花數量Si的計算公式分別為
(13)
(14)
式中:Er和En分別是爆炸半徑和爆炸數目常數,可控制爆炸半徑和爆炸產生的火花數量;f(xi)是適應度函數;ymin=min(f(xi))(i=1,2,…,N)是當前煙花種群中適應度最好的個體的適應度值;ymax=max(f(xi))是適應度最差的個體的適應度值;eps是近似0的常數。
接著,將煙花對應維度的數值進行位移,模擬真實煙花爆炸產生火花的過程:
(15)

為了避免陷入局部最優解,煙花算法引入變異算子產生高斯變異火花。在煙花種群中隨機選擇一個煙花xi,對其維度k執行高斯變異操作:
(16)
式中:g服從均值為1、方差為1的高斯分布,即g~N(1,1)。
將超出邊界的火花映射到可行域內的映射規則如下:
(17)

最后,從初始煙花、爆炸火花和高斯變異火花中選擇一定數量的個體作為下次迭代的初始煙花。先選取適應度值最優的個體,再用輪盤賭的方式選擇剩余N-1個。個體xi被選中的概率為
(18)
式中:R(xi)為個體xi與其他個體的歐式距離之和。
由式(18)可知,分布較分散的個體被選中的概率更大,有利于找到全局最優解。
經過上述預訓練過程,得到底層RBMs和編碼特征,然而此時還不能進行直接分類。要實現故障診斷,還需在頂層添加分類層和標簽,對增加的分類層進行訓練。
底層RBMs的初始權重和偏置直接采用無監督訓練中得到的值,最高層以softmax模型作為分類器。設DBN含l個RBM,初始樣本為x,根據前向傳播算法,最后一層RBM輸出向量為ul(x):
(19)
第i個樣本經前向l層RBM學習后,屬于類別yi,yi∈(1,2,…,c)的概率為
(20)
式中:V為參數系數,選取概率最大的類別作為分類器輸出。網絡第l層的代價函數為
(21)
式中:λl={wl,bl,cl,Vl};1{·}為邏輯指示函數。當yi=q時,1{yi=q}的值為1,否則值為0。為使代價函數值最小,采用BP算法[29]將網絡輸出與真實數值標簽之間的誤差自頂向下BP至每一層,微調參數直至訓練集準確率穩定收斂,至此半監督DBN模型的整個訓練過程完成。
不同于傳統DBN直接用帶標簽數據訓練分類器,本文提出的算法在底層RBMs和AE無監督學習得到的特征的基礎上,再加入標簽數據進行有監督再訓練,完整的過程如圖6所示。

圖6 DBN模型的半監督訓練過程Fig.6 Semi-supervised training process of DBN model
本文選用某型相控陣雷達在2019年3月至9月的在線監測數據,采樣間隔為1 min,以其中一個8通道T/R模塊為研究對象,可供采集的狀態量如表2所示。

表2 雷達T/R模塊監測變量Table 2 Monitored variables of radar T/R module
在無監督特征提取實驗中,選取10 000組有標簽和無標簽樣本進行預訓練,其中1 800個樣本有標簽,包含正常狀態和5類故障狀態在內的6類數據各300組,故障類型如表1所示,其他為無標簽樣本。每個樣本包含26個特征,按4∶1的比例劃分訓練集和測試集。
在有監督故障分類實驗中,采用1 800組有標簽樣本訓練分類器,為6種工況分別添加標簽C=[1,2,3,4,5,6]。在每種工況下選取250個樣本作為訓練集,以50個樣本作為測試集。
DBN-AE的訓練參數如表3所示,輸入層為T/R模塊的26個原始狀態量,輸出層為重構的26個特征,隱層數選擇4。深度神經網絡的分類錯誤率會隨著深度增加而降低,但增加到4層以上時,泛化性能反而下降[29]。為兼顧算法的收斂速度與穩定性,設置學習率為0.1,初始動量為0.5,在誤差平穩增加時動量變為0.9。

表3 DBN-AE訓練參數Table 3 DBN-AE training parameters
采用FWA優化DBN-AE各層節點數,FWA的基本參數如表4所示,變量維數為要尋優的網絡參數數量,適應度函數取模型重構特征與原始特征的MSE,如式(10)所示。尋優得到編碼部分各隱層神經元最佳數量依次為11-37-26-9,解碼部分隱層節點數依次為26-37-11。

表4 FWA基本參數Table 4 Parameters of FWA
為了驗證FWA優化深度置信重構網絡的有效性及所提方法的特征提取能力,將其與經粒子群優化(particle swarm optimization, PSO)算法優化的PSO-DBN-AE、未優化的DBN-AE和單一DAE對比,其中PSO算法的參數設置為:初始粒子數為20,加速度因子c1=0.5,c2=0.9,慣性權重μ=0.5,變量上、下界分別為50和1,迭代50次,DBN參數均與本文方法保持一致。
本實驗采用訓練誤差、測試誤差和訓練時間指標衡量各模型的特征提取性能,訓練誤差和測試誤差分別指模型在訓練集和測試集上輸出的重構特征與原始特征之間的MSE。為了消除算法隨機性,將每個算法都重復運行10次,取10次結果的平均值,結果如圖7和表5所示。

圖7 不同無監督特征提取算法特征重構誤差對比Fig.7 Reconstruction error comparison of different unsupervised feature extraction algorithms

表5 不同無監督算法特征提取指標對比Table 5 Comparison of feature extraction indicators of different unsupervised algorithms
由圖7可以看出,隨著迭代次數增加,各模型的訓練誤差和測試誤差都在不斷減小,FWA-DBN-AE的收斂速度更快,擬合效果更好。
由表5可以看出,FWA-DBN-AE算法的訓練誤差和測試誤差最小,重構特征更接近于實際值,在訓練集上的MSE值為0.053 8,在測試集上的MSE值為0.059 2。相比單一DAE、未經優化的DBN-AE和PSO-DBN-AE,測試誤差分別降低了22.41%、10.57%和3.9%;且其測試誤差也最接近訓練誤差,說明擬合效果較好,基本不存在過擬合情況。在時間復雜度上,DBN的訓練時間受神經元數量影響,神經元數目越多,訓練時間越長,相比未優化的DBN-AE和DAE,本文方法的訓練時間增加了30~50 s,但特征提取效果大大提升。
綜合均方根誤差和訓練時間,FWA優化的DBN-AE特征提取性能最優。因此,對于雷達T/R模塊數據,FWA能夠提升DBN-AE的無監督特征提取性能和訓練效率。
DBN模型的隱層層數為4,輸入為無編碼26個特征,輸出為樣本分別屬于6種狀態的概率值,取值最大的狀態作為診斷結果。底層堆疊RBM的隱層節點數、初始權重和偏置值采用第3.2節預訓練中得到的最優參數。綜合考慮精度和時間,將DBN反向微調的迭代次數設為300次。
為了評估模型的故障診斷能力,采用總體準確率和單一故障識別準確率作為評價指標??傮w準確率是指分類正確的樣本數與所有樣本數的比值。單一故障識別準確率指在某類單一故障下,被正確識別的樣本與該類別樣本總數的比值,可以通過混淆矩陣進行可視化。在T/R模塊測試集上的故障分類準確率變化曲線和混淆矩陣分別如圖8和圖9所示。

圖8 半監督DBN故障分類準確率變化Fig.8 Fault classification accuracy curve of semi-supervised DBN
模型在訓練集和測試集上的總體準確率分別為96.6%和96%,其中正常模式和發射通道故障的識別率為100%,電源過壓、電源欠壓、發射和接收通道故障的識別率達到94%以上,說明所提算法對于雷達T/R組件故障具有良好的識別能力。
第3.2節的實驗從RBM隱層單元重構數據與原始數據的一致性出發驗證了DBN的特征提取能力,本部分實驗將從一個完整的DBN,即特征提取和有監督分類器組合的角度,驗證模型在T/R模塊故障診斷中的逐層特征提取能力。由于原始數據和模型每層提取的特征維數都比較高,為便于在一張圖中觀察,利用PCA降維方法顯示各層特征的前2個主成分PC1和PC2,圖10給出了原始特征的分布圖。

圖10 原始特征二維PCA映射散點圖Fig.10 Two-dimensional PCA mapping scatter plot of original features
圖10中6類故障數據的特征重疊在一起,相互交叉,難以區分。采用DBN模型進行故障特征提取后的可視化結果如圖11所示。

圖11 DBN故障特征提取二維PCA映射散點圖Fig.11 Two-dimensional PCA mapping scatter plot of DBN fault feature extraction
由圖11可以看出,與原始故障特征相比,半監督DBN提取的特征具有更好的可分性,最終6類故障數據被完全分散開,有利于分類器進行識別。以上結果表明,本文方法能夠自適應地從原始數據中逐層提取有效故障特征,無需人工參與,并在一定程度上提高了特征分類的準確率。
為更加充分地驗證本文所提半監督算法中無監督預訓練的有效性,將其與其他6種分類方法在T/R模塊數據集上的故障診斷準確率進行比較,其中包括2種半監督深度學習方法:PSO-DBN-AE、DBN-AE,以及只使用有標簽樣本進行訓練的4種有監督方法:單一DBN、DBN-ELM、SVM和樸素貝葉斯。其中,DBN訓練參數與FWA-DBN-AE保持一致,PSO-DBN-AE的參數設置和第3.2節相同;SVM的核函數為徑向基函數,誤差精度設置為1×10-3。
每個算法重復運行10次,取10次結果的均值,各算法的故障診斷結果如表6所示。

表6 不同算法故障診斷結果對比Table 6 Fault diagnosis results of different algorithms %
通過表6的對比可知,本文所提方法的故障診斷準確率最高,在訓練集和測試集上的準確率分別為96.67%和96%,與同為半監督深度學習的PSO-DBN-AE、DBN-AE方法相比,訓練準確率分別提升了1.93%和2.33%,測試準確率分別提升了2%和2.67%;與單一DBN、DBN-ELM、SVM和樸素貝葉斯有監督學習方法相比,訓練準確率分別提升了3.07%、2.47%、4.5%和6%,測試準確率分別提升了3.33%、2.67%、5.67%和6.67%。在模型訓練效率方面,DBN的網絡結構雖然比SVM、樸素貝葉斯復雜,但采用對比散度算法逐層預訓練,對參數分布有較好的預估計,能避免陷入局部最優,且模型收斂速度快。從圖8可以看出,算法在第180代左右已經收斂,這說明模型一旦訓練完成,診斷時間很短,具有良好的工程應用前景。
相比直接將DBN用于分類,提前用大量無標簽樣本基于DBN-AE進行預訓練,學習通用特征表達,有助于提高診斷的準確率。由于經過前期的無監督特征自學習,模型參數適應所有樣本的特征表達,提高了DBN高層特征的通用性,從而改善了模型的故障診斷性能。其準確率優于傳統的有監督學習算法和其他半監督深度學習算法。
本文針對相控陣雷達系統采集的有標簽數據稀缺的問題,提出了一種基于FWA-DBN-AE模型的雷達T/R模塊故障診斷方法,將無監督特征提取和有監督分類器學習相結合。首先,利用RBM自主學習相關特征的優勢,對大量無標簽和有標簽樣本進行預訓練,然后通過隱層重構的方式逐層展開RBM建立DBN-AE網絡,以較低的失真度重構輸入數據,從而實現特征提取;接著,以提高重構信號與原始信號的一致性為目標,運用FWA優化網絡結構;最后,利用少量有標簽樣本再訓練新增的分類層,得到T/R模塊故障診斷的最優模型。
實驗結果表明,該半監督深度學習方法不僅能取得較高的故障識別精度,并且簡化了特征提取過程,具有直接從原始數據自動提取故障特征的能力。FWA能自適應地確定網絡結構,節省了大量時間和精力,并進一步提升了模型的特征提取性能和故障診斷準確率,相比單純的有監督故障診斷方法具有更好的泛化性。