基于改進半監督局部保持投影算法的故障診斷

楊望燦，張培林，吳定海，陳彥龍

?

基于改進半監督局部保持投影算法的故障診斷

楊望燦，張培林，吳定海，陳彥龍

(軍械工程學院七系，河北石家莊，050003)

為解決在少量標記樣本的條件下故障診斷困難的問題，提出一種基于改進半監督局部保持投影(ISS-LPP)的故障診斷方法。ISS-LPP算法利用部分標記樣本的標簽信息調整原始特征空間中樣本間的權值矩陣，并根據所有樣本在特征空間的分布情況自適應的調整鄰域參數，尋找數據的低維本質流形，得到原始特征空間樣本數據的低維特征向量和投影轉換矩陣。以得到的低維特征向量為輸入，建立分類器，識別和判斷故障類型。將ISS-LPP算法應用于滾動軸承的故障診斷。實驗結果表明：該方法能夠在標記樣本較少時，提高軸承的故障診斷精度。

故障診斷；改進半監督局部保持投影；權值矩陣；鄰域參數；滾動軸承

目前，機械設備結構日益復雜化，設備運行監測數據蘊含了設備運行狀態的全部信息。如何從這些數據信息中準確有效地獲知和判斷設備的運行狀態和故障類型是故障檢測和診斷的關鍵環節[1]。面對獲取的監測數據信息，能夠比較容易地收集大量無標簽的樣本，而對故障樣本的類別標記需耗費大量的時間、人力和物力，并且需要一定的專家知識，如何利用少量標記樣本和大量無標簽的樣本進行學習在故障診斷領域引起了廣泛的關注[2?4]。半監督學習就是研究怎樣綜合利用少量有標簽樣本和大量無標簽樣本的信息來提高故障診斷精度。在旋轉機械故障診斷中，通過傳感器采集和提取振動加速度信號是應用較為廣泛的方法，但采集到的振動信號通常具有非線性、非平穩特征[5?6]。針對振動信號，可以從時域、頻域和時頻域等方面提取反映機械設備運行狀態的量化指標，但隨著特征參數的增多，故障診斷過程中就需要處理較大的數據信息量，因此，如何從“高維數、非線性”的特征數據空間中提取最能反映機械運行狀態的本質流形特征顯得非常關鍵。自Tenenbaum等[7?9]先后提出流形學習的概念和方法后，流形學習成為一類重要的維數約減方法。流形學習比傳統的線性降維方法更能體現數據的內在本質，因此，流形學習方法在人臉識別、圖像處理和故障診斷等方面得到了廣泛的應用[10?12]。局部保持投影(LPP)算法通過線性逼近LE，兼有線性降維方法優點和經典流形學習算法的非線性化處理能力，而且能夠得到顯式的投影矩陣，提高了流形學習算法的泛化能力[13?14]。但傳統的LPP算法屬于無監督的流形學習方法，不能有效利用樣本標簽的有用信息指導降維過程，而有監督的LPP算法要求大量的帶標簽樣本，成本過高，而且有時在實際故障診斷中很難獲得大量標記樣本。因此，本文作者提出了一種基于改進半監督局部保持投影(ISS-LPP)的故障診斷方法。該方法在對所有樣本原始特征子集進行維數約減的同時，充分利用帶有標簽的樣本，重新構建原始特征空間中樣本間的權值矩陣，使得同類樣本點在低維特征空間中距離更近，不同類樣本點距離更遠，從而得到有利于分類的低維特征向量和投影轉換矩陣。針對半監督局部保持投影算法中需要根據經驗人為設定全局的鄰域參數，ISS-LPP算法能夠根據原始特征空間中樣本的分布情況自適應地調整鄰域參數，更好地獲取數據的低維本質流形。最后，將運用ISS-LPP算法得到的低維特征向量輸入分類器，判斷和識別故障類型。通過對滾動軸承故障振動信號的分析，驗證了ISS-LPP算法的可行性和有效性。

1 局部保持投影(LPP)算法

局部保持投影算法本質上是一種線性的流形學習方法，但它繼承了非線性流形學習中拉普拉斯映射(LE)的思想，是LE的線性逼近，所以具有一般線性降維方法所不具有的流形學習能力。LPP算法依據最近鄰圖建立映射，其思想是在特征降維的同時，保持數據局部結構特征不變，即在高維空間中距離相近的點映射到低維空間中也相距較近。

假設在高維空間R中有一個數據集= {1，2，…，x}，LPP的目的是尋求一個投影轉換矩陣，使得高維空間中的數據集映射到相對低維的特征空間R(＜＜)中，數據集在R中表示為= {1，2，…，y}，即通過=T，將數據集映射為。投影轉換矩陣通過最小化下面的目標函數得到：

其中：W為權值矩陣的一個元素。權值矩陣基于譜圖理論，通過近鄰圖來度量無標記數據間的相似度。對于樣本點x?R，根據鄰域參數找到其鄰域點集合，記為N(x)。若x?N(x)，則用一條邊連接近鄰圖中點x和x，并給該邊賦予一個權值。因此根據圖，構建權值矩陣，具體定義如下式所示：

其中：參數＞0，為熱核寬度。

由式(1)和(2)可得：LPP算法通過目標函數的最小化保持數據點間的局部結構特征，即在高維特征空間相距較近的點投影到低維特征空間也相距較近。對目標函數最小化的推導過程如下

式(3)中矩陣是一個×的對角陣，其對角線元素，=?為拉普拉斯矩陣，表示無標記數據的局部結構。

引入約束條件T=1，即TT=1，則式(3)的最優化問題可轉化為求解下式的廣義特征值問題

TT(4)

令列向量1，2，…，分別為式(4)的前個最小非零特征值對應的特征向量，則投影轉換矩陣的表達式如下式所示

={1，2，…，} (5)

通過LPP算法，高維空間的數據集轉化到低維特征空間中，有效的保持樣本數據的局部流形結構，并且能夠得到顯式的投影轉換矩陣，但LPP算法存在以下問題：

1) LPP算法中鄰域參數的選擇直接影響算法的性能，但LPP算法通過人為經驗設定一個統一的全局鄰域參數，造成所構建的鄰域圖不能滿足LPP算法對鄰域的要求。

2) LPP算法屬于無監督的學習方式，只是依據樣本數據點空間距離的遠近實現維數約減，無法利用部分標記樣本尋找更能體現數據本質的低維流形。

2 改進半監督局部保持投影(ISS- LPP)算法

2.1 鄰域參數的自適應調整

保持鄰域的局部結構是LPP算法對鄰域的基本要求。LPP設定的是一個統一的全局鄰域參數，而實際采集到的數據樣本在空間分布往往并不均勻，所以若根據數據樣本的空間分布自適應的調整鄰域參數的大小，則得到的低維特征向量更能反映數據的內在流形。Parzen窗概率密度估計[15]是一種非參數的概率密度估計方法，能夠依據數據樣本估計出樣本的空間分布，所以，利用Parzen窗估計出樣本的概率密度來自適應調整鄰域參數。

高維空間R中存在一個數據集={1，2，…，x}，對于任一數據點x(=1，2，…，)，基于Parzen窗的概率密度估計式為

其中：為數據集的樣本個數，為窗體寬度，=h為窗體體積，為窗函數，且滿足≥0，。

假設LPP算法中鄰域參數初始值為0，則樣本點x的初始鄰域為N0(x)，若令Parzen窗的窗寬=0，窗函數選擇正態窗函數

則點x的鄰域概率密度為

根據估計的鄰域概率密度通過下式調整鄰域參數。

分析式(9)可以得到：當數據點的密度較小時，即其鄰域空間較稀疏時，自動地減小，保持鄰域的局部線性結構；當數據點的密度較大時，即其鄰域空間較密集時，又能自動地增大，使相連的鄰域盡可能重疊，保證數據集全局結構的恢復。

2.2 半監督局部保持投影(SS-LPP)算法

將半監督學習思想引入局部保持投影(LPP)算法，一方面能夠利用大量的未標記樣本，使得數據空間更加稠密，避免了樣本數量較少時的“過訓練”和“過擬合”問題，提高學習模型的泛化能力；另一方面由于具有相同標簽的點具有相同的結構流形，具有不同標簽的點結構流形不同，因此，利用部分標記樣本能更有效地尋找高維數據空間中的本質流形。SS-LPP算法在構建權值矩陣時，利用部分標簽信息使鄰域中具有相同標簽的數據點間的權重增大，具有不同標簽的數據點間的權重置零，從而使重建的權值矩陣能夠更準確地刻畫數據的局部特性。

高維空間R中存在一個數據集={1，2，…，x，x+1，…，x+u}，+=。其中，={1，2，…，x}是個有標簽的樣本，其對應的標簽為{1，2，…，z}，標簽集合={1，2，…，}，共有種類別，= {x+1，x+2，…，x+u}是個無標簽的樣本。假設x為樣本點x(=1，2，…，)鄰域中的一個點，若x有標簽，且和x具有相同的標簽，則增加x和x之間的權重，即增大權值W，使該點對目標函數的最小化發揮更大的作用；若x有標簽，且和x具有不同的標簽，則去掉x和x之間的連接邊，即將權值W置0，使該點不對目標函數的最小化發揮作用；若x沒有標簽，則權值W保持不變。重新構建的權值矩陣如下所述：

若x?X，x的鄰域為N(x)，則

若x?X，x的鄰域為N(x)，則

2.3 改進半監督局部保持投影(ISS-LPP)算法流程

改進半監督局部保持投影(ISS-LPP)算法的具體步驟如下：

ISS-LPP算法：

輸入：高維空間數據樣本集={(1，1)，(2，2)，…，(x，z)，x+1，…，x+u}，x?R，z?R為樣本標簽，低維特征空間維數

輸出：低維特征向量，投影轉換矩陣

1) 設定鄰域參數初始值0，根據式(8)和式(9)計算調整后的鄰域參數(x)；

2) 利用標記樣本和未標記樣本，根據鄰域參數(x)、式(10)和式(11)構建權值矩陣；

3) 根據重新構建的權值矩陣，求解特征方程TT中的前個最小非零特征值對應的特征向量，構成投影轉換矩陣={1，2，…，}；

4) 根據映射=T，得到低維特征向量。

3 滾動軸承的故障診斷應用

3.1 診斷對象及其原始特征空間的構建

以振動實驗臺中的滾動軸承為故障診斷對象，驗證改進半監督局部保持投影(ISS-LPP)算法的有效性。滾動軸承故障主要有外圈故障、內圈故障和滾動體故障，每種故障會使軸承產生不同特征的振動情況。實驗中將加速度傳感器安裝在故障軸承的軸承座上，采集正常狀態和不同故障狀態下的軸承振動信號。電動機轉速控制在1 770 r/min左右，采樣頻率為12 kHz。分別采集正常、外圈故障、內圈故障和滾動體故障4種狀態的振動數據各120組，每組數據的采樣點數為1 024個。其中，隨機選取每種狀態的40組數據作為新增樣本。4種狀態軸承振動信號的時域波形如圖1所示。

分析圖1可知：4種不同狀態下振動信號的振動特征略有不同，但差別不是很大，并且受到噪聲干擾。因此，本文利用時域特征指標和小波包分解構建軸承故障診斷的時域和頻域的原始特征向量，得到軸承不同狀態的較為全面的數據信息。

(a) 正常；(b) 外圈故障；(c) 內圈故障；(d) 滾動體故障

根據滾動軸承典型故障的診斷特點，選擇均值、方根幅值、標準差、有效值、峰峰值、波形指標、脈沖指標、偏斜度、峭度和裕度指標等10個對故障敏感的時域特征參數來全面描述振動信號的時域特征。由于這10個特征參數包含有量綱和無量綱的特征參數，所以對每個樣本的時域特征參數進行歸一化處理。針對時域特征參數的局限性，采用db4小波包函數對原始振動信號進行5層正交小波包分解，根據分解出的各頻帶信號與原始振動信號的能量比作為振動信號的頻域特征參數。因此，共構造42個統計特征指標來描述軸承的不同狀態，組成原始特征空間的數據集。

3.2 應用結果

按照ISS-LPP算法的具體步驟，對所構建的原始特征空間進行維數約減，尋找原始特征空間的低維流形，得到輸出結果。將輸出結果輸入分類器，判斷故障類型，驗證實驗效果。分類器選擇最小二乘支持向量機(LS-SVM)。為了驗證本文算法的有效性，分別采用主成分分析(PCA)和局部保持投影(LPP)算法對原始特征空間的數據集進行維數約減，作為對比實驗。

實驗過程中，LPP算法中的鄰域參數設定為1，ISS-LPP算法中鄰域參數初始值0設定為1，2種算法中的熱核寬度均設定為8。為了測試ISS-LPP算法中標記樣本與未標記樣本的不同比例對降維效果的影響，將原始特征空間的數據樣本按照標簽樣本數與未標簽樣本數比例為1:3，1:1，和3:1的比例隨機進行分配。分類器LS-SVM使用徑向基核函數，采用交叉驗證的方法優化核函數參數2和懲罰因子，從而得到最終的實驗結果。實驗結果如圖2 所示。

1—PCA；2—LPP；3—ISS-LPP1；4—ISS-LPP2；5—ISS-LPP3

圖2中ISS-LPP1代表ISS-LPP算法中標記樣本與未標記樣本的比例為1:3，ISS-LPP2代表ISS-LPP算法中標記樣本與未標記樣本的比例為1:1，ISS-LPP3代表ISS-LPP算法中標記樣本與未標記樣本的比例為3:1。從圖2可以看出：無論是PCA，LPP還是ISS-LPP算法，在維數約減的初始階段，隨著降維維數的增加，故障識別的正確率逐步提高。在降維維數為25維左右時，各種算法的故障識別正確率基本達到了各自算法比較理想的故障識別正確率。由圖2可知：PCA算法的故障識別正確率最低，這是由于PCA算法基于二階統計信息，將多維數據轉換到數據最大方差集方向，實質上是對坐標的一種線性變換，忽略了原始特征空間的非線性結構，因此降維效果較差。LPP算法故障識別正確率明顯高于PCA算法，因為LPP通過構建最近鄰圖，保持原始特征空間的局部結構，尋找數據空間的低維流形，因此效果好于PCA算法。但LPP算法屬于無監督模式，沒有考慮標簽的類別信息，且選取的鄰域參數是全局統一固定的鄰域參數，所以故障識別正確率低于ISS-LPP算法。ISS-LPP算法在構建權值矩陣時，通過部分標記樣本的標簽信息，強調類別之間的差異來突出鑒別性能，而且根據原始特征空間中的樣本分布自適應調整鄰域參數，所以ISS-LPP效果優于LPP和PCA算法。隨著標記樣本數量的增加，從樣本中獲得的先驗信息越全面，能夠更準確的發現原始特征空間的內在規律，因此ISS-LPP算法的故障識別的準確率也隨之提高。表1列出各種算法的最高故障識別正確率和對應的降維維數。

表1 各種算法的最高故障識別正確率

通過對比實驗結果可得：ISS-LPP算法利用部分標記樣本的標簽信息和鄰域參數的自適應調整，使最高故障識別正確率得到了較大地提高。

由于ISS-LPP算法得到顯式的投影轉換矩陣，能夠快速地處理新增數據樣本，所以將隨機選取的每種狀態的40組原始特征空間的新增樣本，利用最高故障識別正確率對應的投影轉換矩陣，將高維數據樣本轉換為低維特征向量，并輸入LS-SVM分類器，驗證實驗效果。投影轉換矩陣選擇ISS-LPP算法中標記樣本和未標記樣本比例為1:3時得到的投影轉換矩陣。同時作為對比，直接將原始特征空間的數據輸入LS-SVM分類器，得到如表2所示的實驗結果。

表2 新增樣本的故障診斷結果

由表2可得：由于原始特征空間中的特征參數存在一些與故障診斷無關或是相互冗余的特征，所以故障識別正確率只有79%。而利用ISS-LPP對原始特征空間進行維數約減，得到原始數據特征的本質流形，因此故障識別正確率提高到93%。在運算時間方面，利用低維特征向量對故障進行診斷，能夠減少運算時間，提高故障診斷的效率。

4 結論

針對故障診斷中有標記樣本較少的問題，提出了一種基于改進半監督局部保持投影(ISS-LPP)的故障診斷方法。該方法充分利用部分標記樣本的標簽信息構建權值矩陣，并利用Parzen窗估計樣本的空間分布來調整鄰域參數，使得到的低維特征向量和投影轉換矩陣更能反映原始特征空間數據的本質流形。將ISS-LPP算法應用在由時域特征參數和小波包分解得到的頻域特征參數構成的原始特征空間中，充分挖掘數據信息的內在規律，得到對故障敏感的低維特征向量和投影轉換矩陣。得到的低維特征向量輸入LS-SVM分類器，識別和判斷軸承故障，得到的投影轉換矩陣能快速有效地處理新增數據。通過與其他方法的實驗對比，實驗結果表明本文方法能夠有效地應用于滾動軸承的故障診斷，提高軸承故障診斷的準確率。

[1] 盛兆順, 尹琦玲. 設備狀態監測與故障診斷技術及應用[M]. 北京: 化學工業出版社, 2003: 1?10. SHENG Zhaoshun, YIN Qiling. Equipment condition monitoring and fault diagnosis technology and its application[M]. Beijing: Chemical Industry Press, 2003: 1?10.

[2] 陶新民, 曹盼東, 宋少宇, 等. 基于兩階段學習的半監督SVM故障檢測方法[J]. 振動與沖擊, 2012, 23(31): 39?43. TAO Xinmin, CAO Pandong, SONG Shaoyu, et al. Fault detection based on two-stage learning and semi-supervised SVM[J]. Journal of Vibration and Shock, 2012, 23(31): 39?43.

[3] ZHAO Xiukuan, LI Min, XU Jinwu, et al. An effective procedure exploiting unlabeled data to build monitoring system[J]. Expert Systems with Application, 2011, 38(8): 10199?10204.

[4] 尹剛, 張英堂, 李志寧, 等. 基于在線半監督學習的故障診斷方法研究[J]. 振動工程學報, 2012, 25(6): 637?642.YIN Gang, ZHANG Yingtang, LI Zhining, et al. Fault diagnosis method based on online semi-supervised learning[J]. Journal of Vibration Engineering, 2012, 25(6): 637?642.

[5] 趙志宏, 楊紹普. 基于小波包變換與樣本熵的滾動軸承故障診斷[J]. 振動、測試與診斷, 2012, 32(4): 640?644. ZHAO Zhihong, YANG Shaopu. Roller bearing fault diagnosis based on wavelet packet transform and sample entropy[J]. Journal of Vibration, Measurement & Diagnosis, 2012, 32(4): 640?644.

[6] 林近山, 陳前. 基于非平穩時間序列雙標度指數特征的齒輪箱故障診斷[J]. 機械工程學報, 2012, 48(13): 108?114. LIN Jinshan, CHEN Qian. Fault diagnosis of gearboxes based on the double-scaling-exponent characteristic of nonstationary time series[J]. Journal of Mechanical Engineering, 2012, 48(13): 108?114.

[7] Tenenbaum J B, Silva V, Langford J C. A global geometric framework for nonlinear dimensionality reduction[J]. Science, 2000, 290: 2319?2323.

[8] Seung H S, Daniel D L. The manifold ways of perception[J]. Science, 2000, 290: 2268?2269.

[9] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290: 2323?2326.

[10] JIE Gui, WEI Jia, LING Zhu, et al. Locality preserving discriminant projections for face and palm print recognition[J]. Neurocomputing, 2010, 73: 2696?2707.

[11] 杜海順, 柴秀麗, 汪鳳泉, 等. 一種鄰域保持判別嵌入人臉識別方法[J]. 儀器儀表學報, 2010, 31(3): 625?629.DU Haishun, CHAI Xiuli, WANG Fengquan, et al. Face recognition method using neighborhood preserving discriminant embedding[J]. Chinese Journal of Scientific Instrument, 2010, 31(3): 625?629.

[12] 楊慶, 陳桂明, 何慶飛, 等. 局部切空間排列算法用于軸承早期故障診斷[J]. 振動、測試與診斷, 2012,32 (5): 831?835. YANG Qing, CHEN Guiming, HE Qingfei, et al. Inchoate fault diagnosis of rolling bearing based on local tangent space alignment algorithm[J]. Journal of Vibration, Measurement & Diagnosis, 2012, 32(5): 831?835.

[13] 張偉, 夏利民, 羅大庸. 正交流形保持投影方法[J]. 中南大學學報(自然科學版), 2011, 42(3): 688?692.ZHANG Wei, XIA Limin, LUO Dayong. Orthogonal manifold preserving projections[J]. Journal of Central South University (Science and Technology), 2011, 42(3): 688?692.

[14] ZHANG Limei, QIAO Lishan, CHEN Songcan. Graph-optimized locality preserving projections[J]. Pattern Recognition, 2010, 43: 1993?2002.

[15] 邊肇祺, 張學工. 模式識別[M]. 北京: 清華大學出版社, 2000: 65?71. BIAN Zhaoqi, ZHANG Xuegong. Pattern recognition[M]. Beijing: Tsinghua University Press, 2000: 65?71.

(編輯 陳愛華)

Fault diagnosis based on improved semi-supervised locality preserving projections

YANG Wangcan, ZHANG Peilin, WU Dinghai, CHEN Yanlong

(Seventh Department, Ordnance Engineering College, Shijiazhuang 050003, China)

In order to diagnose the fault effectively with a small number of labeled samples, a method of fault diagnosis based on improved semi-supervised locality preserving projections was proposed. The method of ISS-LPP used the information of some labeled samples to adjust the weight matrix among all samples in the original characteristic space. The neighborhood parameter could be adjusted automatically according to the distribution of the all samples. Therefore, the low-dimensional manifold could be found. So the low-dimensional eigenvectors and the projection matrix were achieved from the original characteristic space by ISS-LPP. With the low-dimensional eigenvectors as inputs, classifiers were established for identifying fault types. The method of ISS-LPP was applied for the fault diagnosis of roller bearing. The results indicate that the proposed method can diagnose bearing fault in high accuracy with a small number of labeled samples.

fault diagnosis; improved semi-supervised locality preserving projections; weight matrix; neighborhood parameter; roller bearing

10.11817/j.issn.1672-7207.2015.06.012

TH113.1；TH165.3

A

1672?7207(2015)06?2059?06

2014?04?13；

2014?07?20

國家自然科學基金資助項目(E51205405)(Project (E51205405) supported by the National Natural Science Foundation of China)

張培林，博士，教授，博士生導師，從事機械維修理論與技術的研究；E-mail：ZPL1955@163.com