改進RVM的裝備退化狀態預測方法*

逯程，徐廷學，張海軍，王天然

(海軍航空工程學院 兵器科學與技術系,山東 煙臺 264001)

0 引言

作為一種預測式的維修技術，視情維修(condition based maintenance, CBM)是未來維修保障方式發展的新趨勢[1]。末制導雷達是實現導彈精確制導的關鍵裝備，其性能退化狀態優劣直接影響到作戰任務的完成，因此，裝備退化狀態預測研究對于CBM工作的開展具有十分重要的意義。

近年來，裝備退化狀態預測研究主要集中灰色理論、人工神經網絡、云理論及相關向量機等技術領域[2-5]，但是裝備歷史測試數據往往存在小樣本、非線性及動態不確定性等特點，傳統理論方法存在一定的局限性。相關向量機[6-7](relevance vector machine,RVM)是TIPPING于2001年提出的一種基于稀疏Bayes學習理論的機器學習新算法。與支持向量機(support vector machine,SVM)相比，其核函數不受Mercer條件的限制，選取更加靈活;參數設置簡單，避免了復雜的附加參數;解的稀疏性也遠高于SVM，具有較好的泛化能力。

基于以上分析，為進一步提高相關向量機模型的預測精度，提出了一種改進RVM的裝備退化狀態預測方法。首先，通過構建一種方差高斯核函數(variance Gauss kernel function,VGKF)來提高核函數的全局性能和泛化能力;然后通過借鑒混沌序列局域預測法中鄰近點個數的選取方法，利用H-Q準則(Hannan-Quinn rule)對訓練空間預測嵌入維數進行優化，避免了主觀選取的盲目性;最后提出一種線性搜索算法，優化確定核參數值。通過末制導雷達裝備的預測實例對改進RVM的預測性能進行驗證。

1 RVM 預測模型

RVM是一種非線性稀疏貝葉斯學習理論，其良好的泛化性能和較少的相關向量使其在預測領域取得了較好的應用，其回歸模型原理如下：

ti=y(xi,ω)+εi,

(1)

式中：樣本Gaussian噪聲εi～N(0,σ2)。類似于SVM的表達式，將式(1)用一系列核函數可以表示為

(2)

式中：ω=(ω0，ω1，…,ωN)T為權參數向量;K(,)為核函數。

因此可以推斷出p(ti|xi)=N(ti|y(xi,ω),σ2)，即ti滿足ti～N(y(xi,ω),σ2)。為方便表達，引入一個超參數β=σ-2，則整個訓練樣本數據組的似然函數表示為

(3)

式中：t=(t1,t2,…,tN)T;Φ∈RN×(N+1)為設計矩陣，定義為Φ=(φ(x1),φ(x2),…,φ(xN))T，基函數向量為φ(xi)=(1,K(xi,x1),…,K(xi,xN))T,i=1,2,…,N。

(4)

式中:在超參數α=(α1,α2,…,αN)中的每個αj都相互獨立且只與對應的權值ωj相關。利用式(3)和式(4)，根據貝葉斯公式即可得到ω后驗分布的表達式：

(5)

由于p(t|ω,β)和p(ω|α)均為Gaussian分布，二者乘積也同樣滿足該分布;而p(t|α,β)不含ω，可視作歸一化系數，式(5)改寫為

p(ω|t,α,β)=N(ω|μ,Σ),

(6)

均值矩陣μ和協方差矩陣Σ分別為

Σ=(βΦTΦ+A)-1，

(7)

μ=βΣΦTt，

(8)

式中：A=diag(α0,α1,…,αN)。

若要得到ω的后驗分布，必須對2個影響參數β和αj進行優化，具體方法為最大化邊緣似然函數p(t|α,β)。對p(t|α,β)等號兩邊取對數得到目標函數后，再根據目標函數分別對αj和β求偏導并令導數為0，得到2個參數的迭代計算公式：

(9)

(10)

γj=1-αjΣjj,

(11)

式中：μj為μ的第j個元素；Σjj為協方差矩陣Σ第j個對角元。

對RVM模型進行訓練就是通過迭代計算不斷更新μ和Σ，直至參數收斂或達到最大迭代次數。

噪聲方差σ2也通過迭代算法求得

(12)

在超參數估計的收斂過程中，通過最大似然法得到αMP和σMP。若給定新的輸入值x*，則相應預測輸出的概率分布服從Gaussian分布：

(13)

y*=μTφ(x*),

(14)

(15)

2 RVM回歸模型參數優化

2.1 高斯核函數的改進

通過在SVM基礎上把基于高斯過程中的Bayesian推理應用到核理論上，RVM算法在先驗參數的結構下利用自相關判定理論(automatic relevance determination, ARD)移除不相關的樣本點，從而實現了模型的稀疏化[8]。雖然與SVM相比，RVM的核函數由于稀疏、較少的超參數而計算量大減，且脫離了Mercer條件的限制，但是預先確定的核函數性能依然會直接影響到RVM回歸預測的精度。

目前常用的核函數有高斯核函數、Laplace核函數、Cauchy核函數等。而高斯基核函數是目前應用最廣泛的一種核函數，其標準形式定義為

式中：b為核寬度；N為訓練樣本數。

作為一種基于距離方程的核函數，高斯核函數的測試點在由源空間映射到高維特征空間后往往會變得稀疏。只有當核函數不僅能在測試點保持較快的衰減，而且在無限遠處也能保持一定的衰減時，上述情況才能得到改變。然而高斯核函數只滿足前者，所以它是一種典型的局部核函數。近些年，很多學者通過構造高斯核函數與全局性核函數組成的混合核來提高核函數的性能[9-11]，但在這個過程中又引入了多個參數變量，大大增加了RVM的計算復雜度。本文在高斯核函數的基礎上，通過構造一種改進的方差高斯核函數來提高RVM的性能。

可以觀察到在高斯核函數的標準形式里，所有的特征元素都利用相同的尺度因子來衡量，這一特性也使得具有大數值尺度范圍的特征要更占優勢，這一局限性也嚴重影響了其在實用中的性能。為克服這一問題，我們使各特征元素進行零均值歸一化并將其標為單位標準差形式：

(16)

式中：μi和σi為特征向量的均值與標準差。將式(16)代入標準形式，將得到的結果改寫成核函數的形式，就產生了一個新的核函數，即

(17)

(18)

這樣構造的核函數不僅滿足前文提到的2個條件，而且成功避免了未知參數的引入，另外在模型數據的輸入前也不需要數據的歸一化過程。

2.2 訓練樣本空間維數的優化

實現時間序列{x1,x2,…,xn}預測的關鍵在于尋找到滑動時間窗口Xt={xt-1,xt-2,…,xt-m}與輸出Yt={Xt}之間的準確映射f:Rm→R，t=m+1,m+2,…,n，m為預測嵌入維數。因此，參數m的確定對于預測建模的準確性至關重要。為了克服m選取的主觀盲目性，本文基于混沌時序的局域預測法[12]中鄰近點個數選取的思想，對RVM的訓練樣本空間最優嵌入維數進行了優化，該方法適合小數據量的情況，具有計算簡單和精度高的特點。

在鄰近點個數的確定過程中，本文基于Hannan-Quinn準則[15]，過程如下：

首先對d給定一個寬泛的范圍d∈[dmin,dmax]，依次計算每個d值下的H-Q準則值：

(19)

(20)

這一過程通過明確m=dopt將訓練樣本的空間維數進行了優化，克服了以往僅憑主觀經驗和FPE準則進行回歸訓練的不足，具有一定參考性和實用價值。

2.3 核參數優化選擇

從2.1節改進的高斯核函數中可以看出，核寬度b是唯一的核參數，而核參數核函數靈敏度關系密切，因此，對核參數進行優化確定具有重要意義。借鑒SVM核參數網格搜索優化算法[16]的思想，本文提出一種更為快速簡潔的RVM核參數線性搜索算法，具體過程如下：

(1) 考慮b的一個線性空間，令b∈{2-4，2-3，…，25}。

(2) 針對搜索空間的每一個b值，在訓練數據集上通過k折交叉驗證法對RVM進行訓練和測試，記錄每一個b值訓練模型下的平均精度和平均相關向量數。

(3) 依據如下標準確定優化核參數值：①選擇交叉驗證平均精度最高情況下對應的核參數值;②若選擇的參數值不唯一，則選擇出現最小平均相關向量數時對應的核參數值;③若參數值仍不唯一，則選擇最大的參數值。

3 預測實例及分析

以某岸導部隊處于貯存狀態的導彈為例，從2009年初至2016年底，每季度進行末制導雷達單元測試，獲得2個關鍵參數的32組測試數據，如表1所示，并以此為基礎驗證本文改進RVM模型的有效性。

表1 關鍵指標參數測試數據

以前25組數據作為RVM的訓練數據，后7組數據用來檢驗模型的預測效果。通過H-Q準則確定嵌入維數m=dopt=4，則相空間重構后利用21個訓練樣本進行RVM的學習，進一步比較VGKF核參數值與預測精度之間的關系，如圖1所示。從圖1中可以看出，RVM的性能受核參數值的影響，常規人為設置核寬度的方法會帶來較大的誤差，因此有必要優化核參數值以提高預測精度。

確定2個參數對應的核參數值分別為8和4，利用改進RVM和標準RVM模型(高斯核寬度設置為1)對2個性能參數進行預測，結果如圖2和圖3所示。

由表2可以看出，改進RVM的預測MAPE要低于標準RVM模型，相關向量數也有所減少，說明其具有更好的預測性能，從而驗證了本文方法的有效性和優越性。

預測方法c1c2MAPE(%)nRVMAPE(%)nRVRVM1．8160．635改進RVM0．7540．244

4 結束語

作為導彈裝備的核心組成部件，末制導雷達的退化狀態預測是導彈CBM工作的重要內容。為了進一步提高裝備退化狀態預測精度，實現精確化保障目標，本文對RVM模型進行了改進，通過構建方差高斯核函數來提高核函數的全局性能和泛化能力;然后利用H-Q準則對訓練空間預測嵌入維數進行優化，避免了其主觀選取的盲目性;并提出一種線性搜索算法，優化確定核參數值。末制導雷達性能參數預測實例證明了改進RVM具有更高的預測精度，且計算簡便，具有不錯的工程應用前景。

參考文獻：

[1] 馬颯颯,賈希勝,夏良華.軍隊裝備維修工程CBM綜述[J].裝備學院學報,2008,19(2):111-116.

MA Sa-sa,JIA Xi-sheng,XIA Liang-hua.Military Equipment Maintenance Engineering Review CBM[J].Journal of Institute of Equipment,2008,19(2):111-116.

[2] 李穎峰.改進灰色模型在電力負荷預測中的應用[J].電網與清潔能源,2009,25(3):10-11.

LI Ying-feng.The Application of Improved Grey Model in Power System Load Forecast[J].Power System and Clean Energy,2009,25(3):10-11.

[3] LI Dong-qin.Application of Support Vector Machine Regression Method in Prediction of Ship's Price Index[J].Ship & Ocean Engineering,2009,38(2):104-106.

[4] 朱建平.神經網絡在電力負荷預測中的應用研究[J].科技資訊,2015,13(23):32-32.

自我校引進了數碼互動系統應用于形態實驗學教學，對以下幾方面進行了改革。建立六個顯微數碼互動教室，建立大體標本圖片庫，建立形態學考試題庫。六個數碼互動教室中每間教室都配置40臺顯微鏡和40臺電腦，教師機總體操控投影儀，學生機和數碼顯微系統。

ZHU Jian-ping.Research on Application of Neural Network in Power Load Forecasting[J].Science and Technology Information,2015,13(23):32-32.

[5] 趙文邦,王少華,蒲膺中,等.基于云理論的裝備技術狀態預測[J].火力與指揮控制,2013,38(7):62-65.

ZHAO Wen-bang,WANG Shao-hua,PU Ying-zhong,et al.Research of Technical Condition Prediction of Equipment Based on Cloud Theory[J].Fire Control & Command Control,2013,38(7):62-65.

[6] TIPPING M E.Sparse Bayesian Learning and Relevance Vector Machine[J].Journal of Machine Learning Research,2001,1(3):211-244.

[7] SAMUI P,DIXON B.Application of Support Vector Machine and Relevance Vector Machine to Determine Evaporative Losses in Reservoirs[J].Hydrological Processes,2012,26(9):1361-1369.

[8] 周建寶.基于 RVM 的鋰離子電池剩余壽命預測方法研究[D].哈爾濱:哈爾濱工業大學,2013.

ZHOU Jian-bao.Research on Prediction Method of Remaining Life of Lithiumion Battery Based on RVM[D].Harbin:Harbin Institute of Technology,2013.

[9] YU J.A Nonlinear Kernel Gaussian Mixture Model Based Inferential Monitoring Approach for Fault Detection and Diagnosis of Chemical Processes[J].Chemical Engineering Science,2012,68(1):506-519.

[10] WEI L,WEI B,WANG B.Text Classification Using Support Vector Machine with Mixture of Kernel[J].Journal of Software Engineering and Applications,2013,5(12):55.

[11] 段青,趙建國,馬艷.優化組合核函數相關向量機電力負荷預測模型[J].電機與控制學報,2010,14(6):33-38.

DUAN Qing,ZHAO Jian-guo,MA Yan.Optimized Combination Kernel Function Correlation Vector Machine Power Load Forecasting Model[J].Proceedings of the World’s Electric Power and Control,2010,14(6):33-38.

[12] 杜杰,曹一家,劉志堅,等.混沌時間序列的局域高階 Volterra 濾波器多步預測模型[J].物理學報,2009,58(9):5997-6005.

DU Jie,CAO Yi-jia,LIU Zhi-jian,et al.A Multi-Step Prediction Model of Local High Order Volterra Filters with Chaotic Time Series[J].Acta Phys Sinica,2009,58(9):5997-6005.

[13] MENG Qing-fang,CHEN Yue-hui,PENG Yu-hua.Small-Time Scale Network Traffic Prediction Based on a Local Support Vector Machine Regression Model[J].Chinese Physics B,2009,18(6):2194-2199.

[14] BING Q,GONG B,YANG Z,et al.A Short-Term Traffic Flow Local Prediction Method of Combined Kernel Function Relevance Vector Machine[J].Journal of Harbin Institute of Technology,2017,49(3):144-149.

[15] HANNAN E J,QUINN B G.The Determination of the Order of an Autoregression[J].Journal of the Royal Statistical Society,1979,41(2):190-195.

[16] 劉祥樓,賈東旭,李輝,等.說話人識別中支持向量機核函數參數優化研究[J].科學技術與工程,2010,10(7):1669-1673.

LIU Xiang-lou,JIA Dong-xu,LI Hui,et al.Research on Kernel Parameter Optimization of Support Vector Machine in Speaker Recognition[J].Science Technology & Engineering,2010,10(7):1669-1673.