基于半監督PCA-LPP流形學習算法的故障降維辨識

張曉濤，唐力偉，王平，鄧士杰

（軍械工程學院 火炮工程系，河北 石家莊，050003）

基于半監督PCA-LPP流形學習算法的故障降維辨識

張曉濤，唐力偉，王平，鄧士杰

（軍械工程學院 火炮工程系，河北 石家莊，050003）

提出一種基于半監督思想PCA-LPP的流形學習維數約簡故障辨識方法，兼顧PCA的全局結構和LPP的局部結構保持以及樣本的類別信息，構造新的投影矩陣目標函數，給出 PCA-LPP流形學習算法的計算原理。采用UCI中wine數據集驗證半監督PCA-LPP方法的維數約簡性能，并就齒輪箱故障聲發射實驗信號，以小波包能量熵作為特征向量，并將特征向量的降維結果輸入支持向量機進行故障類型辨識。研究結果表明：半監督PCA-LPP方法的降維結果，能夠充分考慮不同故障特征向量的差異信息，相應的故障類型辨識精度高于PCA及LPP方法。關鍵詞：流形學習；局部保持投影；主元分析；故障診斷；故障辨識

齒輪箱故障診斷中，原始采樣信號由于干擾成分的影響，采樣信號提取的初始故障特征往往無法有效進行狀態識別和故障診斷［1］。故障特征的提取和降維對故障類型的識別和診斷具有非常重要的意義，然而由齒輪箱轉子結構以及工作狀態的復雜性，載荷、摩擦等因素所引入的非線性影響［2］，傳統線性降維方法PCA（principal component analysis，PCA）處理后的故障特征，通過發現特征全局歐式結構，使全局分布方差最大［3］，卻忽略了數據的局部結構特征，導致PCA處理后的故障特征不同類別之間混疊嚴重，無法實現良好的故障診斷。流形學習是一類無監督非線性學習算法［4-5］，能夠有效地提取嵌入在高維數據中的低維特征，為后續故障的分類提供有效的特征降維處理支持［6］。局部保持投影（locality preserving projection，LPP）是一種典型的流形學習算法，由 HE等［7］在拉普拉斯特征映射的基礎上提出，局部保持投影在降維過程中能夠保持數據樣本局部流形結構不變，FADI等［8］將有監督正交LPP用于人臉識別，MAO等［9］將半監督LPP用于文稿語義分類，WONG等［10］將有監督歸一化LPP用于車輛數據集分類，DENG等［11］將稀疏核LPP用于非線性過程故障檢測，以上有關LPP的研究在數據降維和分類中均取得了較好的效果。主元分析PCA在降維時考慮數據樣本的全局歐式結構，而局部保持投影LPP則可以保持數據樣本的局部流形結構，綜合PCA與LPP的全局和局部結構保持特性，并考慮部分數據的類別標簽信息［12-13］，基于最大邊緣準則［14］提出一種半監督PCA-LPP流形學習算法，采用UCI數據集對算法的降維性能進行驗證，并利用齒輪箱故障實測聲發射信號進行了故障特征降維和識別進一步驗證，結果表明半監督PCA-LPP方法比PCA和LPP的降維效果好，故障識別準確率更高。

1 半監督PCA-LPP流形學習算法

PCA-LPP流形學習算法結合PCA數據整體分布描述以及LPP數據局部流形信息描述，求解投影矩陣的過程中引入半監督思想，增加有標簽樣本在學習過程中的權重，同時無標簽樣本又能有效避免少量有標簽樣本學習中的過擬合問題。

1.1 半監督全局分布描述

全局分布的目標是尋求投影矩陣W，使通過投影后的數據能夠在低維空間保持原始樣本的大部分方差信息，PCA方法的全局分布目標函數如式1所示。

經典PCA方法不考慮數據分類標簽信息，在數據全局分布描述是最優的，但不同類別間的分類能力較差。考慮數據分類標簽信息，在PCA目標函數的基礎上構造半監督全局目標函數，如下式所示：

1.2 半監督局部流形描述

LPP是無監督流形學習算法，相似權重矩陣不計入樣本類別標簽信息，易受噪聲干擾。引入半監督思想［8］，考慮數據的分類標簽信息，提出改進半監督相似權重矩陣S的構造方法，如下式所示：

改進后的半監督相似權重矩陣充分考慮了數據樣本的標簽信息，由于0≤α≤1，故相似權重調節因子1≤（1+α）≤2和0≤（1-α）≤1，樣本間歐式距離越近，同類標簽樣本的相似權值越大，而非同類標簽樣本的權值相應減小，由于權重調節因子的有界性，噪聲干擾被限定在一定的范圍內。改進后的半監督相似權值引入樣本類別標簽信息，既保持近鄰域關系又利于樣本的分類描述，又具有噪聲抑制能力。

基于半監督相似權重矩陣，給出半監督局部目標函數，如式（4）所示，使LPP的投影矩陣W在保持局部流形的同時能夠保持樣本間分類信息。

1.3 半監督PCA-LPP整體目標及求解

結合全局目標函數與局部目標函數，基于最大邊緣準則［14］構造半監督PCA-LPP整體目標函數，如式（5）所示，目標函數同時考慮PCA與LPP的投影優化約束，使投影后的數據能保留更全面的特征信息。

整體目標函數可以通過拉格朗日乘子法［16］將式（5）轉換為有約束最大值問題，如下式所示：

式（6）對W求導并置0可得

總結半監督 PCA-LPP流形學習算法的實現步驟如下：

1） 已知樣本X，根據式（2）計算構造半監督全局目標函數Jg（W）。

2） 根據式（3）計算半監督相似權重矩陣S，并根據式4構造半監督局部目標函數Jl（W）。

3） 根據式（5）構造整體目標函數J（W）。

4） 求解廣義特征方程式（8），得到d個最大特征值對應的特征向量構成投影矩陣W。

5） 根據映射Y=WTX，得到低維嵌入數據Y。

2 信號特征降維及故障分類識別

信號降維分析中，通過與主流降維方法 PCA和LPP比較，驗證PCA-LPP的有效性，運算環境為3 GHz i5 CPU，4G RAM，win7以及matlab R2009b。PCA-LPP的降維效率與近鄰參數選擇有關，近鄰參數k通過在一定取值范圍內進行逐步尋優計算，保持LPP與半監督PCA-LPP的近鄰參數相同。

2.1 UCI樣本3降維可視化

采用UCI中的wine數據集［4］對半監督PCA-LPP流形學習算法進行驗證，該數據集初始維度為13，共有178個樣本，分為3類，第1類樣本59個，第2類樣本71個，第3類樣本48個，設置3類樣本有標簽數據分別為29，36，24，有標簽樣本總數為89，在總樣本中占一半。分別在數據集上應用PCA，LPP及半監督PCA-LPP進行分析，將樣本維度降到3維，其中LPP算法和半監督PCA-LPP算法的近鄰參數設置相同，均是k=35，可視化處理結果如圖1所示。

圖1 wine數據集三維降維結果Fig.1 Dimensionality reduction of wine dataset

從圖1可以看出：PCA降維結果中3類樣本重疊嚴重，樣本區分度低，LPP降維結果優于PCA，樣本類內聚集性提升明顯，但不同類別邊界附近的重疊嚴重。PCA-LPP的降維結果效果最好，3類樣本的類內聚集性好，且不同類別樣本邊界距離明顯，不同樣本類型可以明顯識別。其主要原因在于PCA降維僅考慮數據的整體分布方差最大，LPP降維僅保持數據局部流形結構不變，因此LPP比PCA降維結果的類內聚集性好，但二者都沒有實現數據整體方差與局部流形結構的兼顧增強，而半監督PCA-LPP同時兼顧了PCA與LPP各自的增強特性，從而使得信號降維效果最好。

2.2 齒輪箱故障信號降維及識別分類

采用齒輪箱故障聲發射實測數據對半監督PCA-LPP的降維性能進行分析，實驗工況包括正常狀態，軸承內圈故障，外圈故障，內外圈復合故障，齒根裂紋故障五種工況，軸承型號為6206，安裝在二級傳動軸一端，故障齒輪為二級傳動軸大齒輪，一級傳動比1：2，齒輪箱原理結構及傳感器安裝如圖2所示。聲發射采集儀采樣頻率1 MHz，單個數據樣本長度1 s，每種工況對應數據70組，其中30組有類別標簽，40組無類別標簽，5種工況共350組數據樣本。對每個樣本用db4小波包進行3層分解，得到每個樣本的8個子頻帶重構分量信號，求取這8個子頻帶信號的能量熵構建8維特征向量［1］。

圖2 齒輪箱結構及傳感器布置Fig.2 Gearbox structure and sensor arrangement

采用半監督PCA-LPP，PCA和LPP 3種方法對原始特征進行降維處理，而后將降維后特征輸入支持向量機進行訓練識別，采用徑向基核函數支持向量機，基于交叉驗證方法獲得核函數參數γ=2.8，懲罰因子c=1.2。對比降維后數據的分類性能，分類識別中選擇40組特征作為訓練樣本，剩余30組作為測試樣本。

2.2.1 半監督PCA-LPP降維識別分析

設置近鄰參數k的范圍為5～30，間隔為1，降維數d的范圍為3～7，間隔為1，交叉驗證計算各種參數配比組合下降維后特征的故障識別率。

不同的k和d組合得到的降維結果在支持向量機中的識別率不同，對所有的k和d組合進行計算，結果如圖3所示。

圖3 整體識別率隨k和d的變化Fig.3 Identification rate change by k and d

從圖3可以看出：半監督PCA-LPP降維特征的整體識別率隨著降維數d和近鄰值k的改變不斷變化，當降維數d最小時，故障識別率最低，在d和近鄰值k變化范圍的兩端處，故障識別率整體較低，僅當k=15，d=5時，整體識別率達到最高值95.33%。為進一步說明識別率最大值點的參數選擇情況，單一固定參數k和d時的識別率曲線如圖4所示。從圖4可知：識別率對d的變化比較敏感，識別率對k的變化比較平緩，當k較大時識別率降低明顯。k=15，d=5時半監督PCA-LPP降維結果的各類單項識別率如表1所示，其中齒根裂紋識別率最高，復合故障識別率最低，這是因為齒根裂紋與其他幾種狀態故障具有明顯差異，而復合故障特征與內圈故障和外圈故障特征具有相似性。

圖4 識別率變化曲線Fig.4 Curves of identification rate

表1 PCA-LPP降維結果識別率Table 1 Identification rate of PCA-LPP %

2.2.2 3種降維方法識別性能對比

在k=15和d=5的情況下，對PCA，LPP及半監督PCA-LPP方法的降維特征故障識別情況進行對比。經過3種方法處理后原始特征向量投影到新的低維空間，圖5所示為原始高維特征降維后前3個主分量的3維圖。從圖5可以看出：PCA降維結果最差，不同類別的故障特征混疊嚴重，LPP的效果比PCA好一些，但是復合故障分布完全混入內圈和外圈故障中。半監督PCA-LPP的分布效果最好，各類別特征聚集性較好，有利于故障類別的辨識。

將k=15和d=5時3種方法降維后的特征輸入支持向量機進行故障類別辨識，訓練樣本與識別樣本分配設置與半監督PCA-LPP方法識別分析中設置相同，3種方法的識別結果如表2所示。

從表2可以看到：半監督PCA-LPP方法降維結果對齒輪箱5種故障的識別效果最好，識別率高于PCA和LPP降維結果的識別率。PCA和LPP降維結果單一強調故障特征的整體結構分布方差和局部流形結構，因此故障特征降維后的識別率較低，半監督PCA-LPP方法既考慮部分特征的標簽類別信息，又能兼顧整體結構分布方差和局部流形保持，降維后特征能夠更好的反映不同故障之間的差異，從而獲得更高的故障識別率。

圖5 齒輪箱故障信號降維結果Fig.5 Dimensionality reduction of gearbox signals

表2 3種降維特征支持向量機識別率對比Table 2 Support vector machine identification rate of three dimensionality reduction results

3 結論

1） 引入半監督思想，結合PCA與LPP各自的特點，提出半監督PCA-LPP流形學習算法，在數據投影降維過程中同時考慮數據全局分布結構、局部流形結構以及類別標簽的判別信息，UCI數據集wine的可視化降維結果表明，半監督PCA-LPP方法的樣本分離效果良好。

2） 半監督PCA-LPP方法降維特征向量的支持向量機故障識別率明顯高于PCA和LPP方法降維結果，且3種方法降維后特征的前3個主分量3維分布進一步表明了半監督 PCA-LPP方法降維結果的在故障分類判別性能上的優勢。

［1］ 李城梁， 王仲生， 姜洪開， 等. 自適應Hessian LLE在機械故障特征提取中的應用［J］. 振動工程學報， 2013， 26（5）： 758-763. LI Chengliang， WANG Zhongsheng， JIANG Hongkai， et al. Adaptive Hessian LLE in mechanical fault feature extraction［J］. Journal of Vibration Engineering， 2013， 26（5）： 758-763.

［2］ 孫斌， 薛廣鑫. 基于等距特征映射和支持矢量機的轉子故障診斷方法［J］. 機械工程學報， 2012， 48（9）： 129-134. SUN Bin， XUE Guangxin. Method of rotor fault diagnosis based on isometric feature mapping and support vector machine［J］. Journal of Mechanical Engineering， 2012， 48（9）： 129-134.

［3］ 尹剛， 張英堂， 李志寧， 等. 基于 MSPCA的缸蓋振動信號特征增強方法研究［J］. 振動與沖擊， 2013， 32（6）： 143-147. YIN Gang， ZHANG Yingtang， LI Zhining， etal. Fault feature enhancement method for cylinder head vibration signal based on multiscale principal component analysis［J］. Journal of Vibration and Shock， 2013， 32（6）： 143-147.

［4］ 劉忠寶， 潘廣貞， 趙文娟. 流形判別分析［J］. 電子與信息學報，2013， 35（9）： 2047-2050. LIU Zhongbao， PAN Guangzhen， ZHAO Wenjuan. Manifoldbased discriminant analysis［J］. Journal of Electronics & Information Technology， 2013， 35（9）： 2047-2050.

［5］ 趙振華， 郝曉弘. 局部保持鑒別投影及其在人臉識別中的應用［J］. 電子與信息學報， 2013， 35（2）： 463-466. ZHAO Zhenhua， HAO Xiaohong. Linear locality preserving and discriminating projection for face recognition［J］. Journal of Electronics & Information Technology， 2013， 35（2）： 463-466.

［6］ 李鋒， 湯寶平， 宋濤， 等. 歸一 Laplacian矩陣有監督最優局部保持映射故障辨識［J］. 機械工程學報， 2013， 49（13）：100-106. LI Feng， TANG Baoping， SONG Tao， et al. Fault identification method based on normalized laplacian-based supervised optimal locality preserving projection［J］. Journal of Mechanical Engineering， 2013， 49（13）： 100-106.

［7］ HE X F， NIYOGI P. Locality preserving projections［C］// Neural Information Processing Systems16. Vancouver： MIT Press， 2004：153-160.

［8］ FADI D， AMMAR A. Enhanced and parameterless locality preserving projections for face recognition［J］. Neurocomputing，2013， 99（1）： 448-457.

［9］ MAO Yu， ZHOU Yanquan， YU Hao， et al. Semi-supervised locality discriminant projection［J］. Procedia Engineering， 2012，29（3）： 1319-1324.

［10］ WONG W K， ZHAO H T. Supervised optimal locality preserving projection［J］. Pattern Recognition， 2012， 45（1）：186-197.

［11］ DENG Xiaogang， TIAN Xuemin. Sparse kernel locality preserving projection and its application in nonlinear process fault detection［J］. Chinese Journal of Chemical Engineering，2013， 21（2）： 163-170.

［12］ 黃鴻， 秦高峰， 馮海亮. 半監督流形學習及其在遙感影像分類中的應用［J］. 光學精密工程， 2011， 19（12）： 3025-3028. HUANG Hong， QIN Gaofeng， FENG Hailiang. Semi-supervised manifold learning and its application to remote sensing image classification［J］. Optics and Precision Engineering， 2011， 19（12）：3028-3028.

［13］ 王健， 馮健， 韓志艷. 基于流形學習的局部保持 PCA算法在故障檢測中的應用［J］. 控制與決策， 2013， 28（5）： 683-687. WANG Jian， FENG Jian， HAN Zhiyan. Locally preserving PCA method based on manifold learning and its application in fault detection［J］. Control and Decision， 2013， 28（5）： 683-687.

［14］ 袁暋， 程雷， 朱然剛， 等. 一種新的基于MMC和LSE的監督流形學習算法［J］. 自動化學報， 2013， 39（12）： 2076-2079. YUAN Min， CHENG Lei， ZHU Rangang， et al. A new supervised manifold learning algorithm based on MMC and LSE［J］. Acta Automatica Sinica， 2013， 39（12）： 2076-2079.

［15］ 李鋒， 王家序， 楊榮松. 有監督不相關正交局部保持映射故障辨識［J］. 儀器儀表學報， 2013， 34（5）： 1113-1116. LI Feng， WANG Jiaxu， YANG Rongsong. Fault identification method on supervised uncorrelated orthogonal locality preserving projection［J］. Chinese Journal of Scientific Instrument， 2013， 34（5）： 1113-1116.

［16］ 宋濤， 湯寶平， 李鋒. 基于流形學習和 K-最近鄰分類器的旋轉機械故障診斷方法［J］. 振動與沖擊， 2013， 32（5）： 149-153. SONG Tao， TANG Baoping， LI Feng. Fault diagnosis method for rotating machinery based on manifold learning and K-nearest neighbor classifier［J］. Journal of Vibration and Shock， 2013，32（5）： 149-153.

（編輯 陳愛華）

Fault identification and dimensionality reduction method based on semi-supervised PCA-LPP manifold learning algorithm

ZHANG Xiaotao， TANG Liwei， WANG Ping， DENG Shijie

（First Department， Ordnance Engineering College， Shijiazhuang 050003， China）

A novel fault identification dimensionality reduction method based on semi-supervised PCA-LPP manifold learning algorithm was proposed. The objective function of projection matrix of semi-supervised PCA-LPP was constructed by global structure and local structure， the global structure was described by PCA， the local structure described by LPP and category information of samples， and the calculation principle of semi-supervised PCA-LPP manifold learning algorithm was given. The processing results of wine dataset of UCI show that the semi-supervised PCA-LPP method has a good ability of dimensionality reduction. Aiming at the gearbox acoustic emission signals， its eigenvectors is constructed by wavelet packet energy entropy， and the dimensionality reduction results of eigenvectors are given to the support vector machine， the fault identification of semi-supervised PCA-LPP method obtains higher identification rate than that of LPP and PCA， because the method considers the similarities and differences between all eigenvectors.

manifold learning； locality preserving projection； principal component analysis； fault diagnosis； pattern recognition

TH165；TN911

A

1672-7207（2016）05-1559-06

10.11817/j.issn.1672-7207.2016.05.015

2015-07-22；

2015-10-19

國家自然科學基金資助項目（50775219）；軍隊科研資助項目（［2011］107） （Project（50775219） supported by the National Natural Science Foundation of China； Project（［2011］107） supported by the Military Research Foundation）

唐力偉，博士，教授，從事機械性能檢測與故障診斷研究；E-mail： tom5157@163.com