自適應鄰域構造流形學習算法及故障降維診斷*

張曉濤， 唐力偉， 王 平， 鄧士杰

(軍械工程學院火炮工程系 石家莊，050003)

?

自適應鄰域構造流形學習算法及故障降維診斷*

張曉濤， 唐力偉， 王 平， 鄧士杰

(軍械工程學院火炮工程系 石家莊，050003)

針對流形學習算法中近鄰構造問題，提出一種自適應鄰域構造方法，該方法基于馬氏距離計算樣本間相似系數，由相似系數均值確定初始近鄰數，根據樣本高斯核概率密度估計調整近鄰數，并將自適應鄰域構造方法用于改進的主成分分析聯合局部保持投景(principal component analysis-locality preserving projections,簡稱PCA-LPP)流形學習算法中。通過齒輪箱故障類型識別對其特征降維性能進行驗證，結果表明，自適應鄰域PCA-LPP方法比傳統的k近鄰方法及原始無處理的特征識別率都高，可以達到94.67%。

自適應； 鄰域； 高斯核概率估計； 流形學習； 故障診斷

引 言

流形學習算法是一類非常有效的非線性數據降維算法[1]，在很多具體的流形學習算法實現中，諸如局部保持投影(locality preserving projection, 簡稱LPP)[2]、拉普拉斯映射(Laplacian eigenmap,簡稱LE)[3]都需要先構造數據樣本近鄰圖。傳統的近鄰圖構造主要是k近鄰和ε近鄰兩種方法[4]，其主要缺點在于各個樣本的近鄰數需要人為經驗確定，且所有樣本采用相同的近鄰數，不能針對樣本自身的鄰域分布情況進行數據調整。自適應鄰域的思想主要是基于樣本周圍一定范圍數據分布的情況，按照預設規則自動確定鄰域大小。目前常用的自適應鄰域構造思想主要基于歐氏距離或者余弦夾角距離計算相似系數，并根據相似系數的分布設定閾值自適應求取近鄰數，這樣的方法多用于圖像處理及人臉識別研究中。Yang等[5]基于歐氏距離指數函數計算樣本相似系數。劉鳳連等[6]基于圖像歐氏距離導數計算樣本相似系數。黃璞等[7]采用樣本夾角余弦距離作為相似系數。三種方法在人臉識別研究中取得了良好的分類效果。李城梁等[8]將基于樣本切空間距離的自適應鄰域方法應用于機械故障信號特征提取，故障分類正確率得到明顯提升。

自適應鄰域構造方法能夠有效避免人為選擇近鄰范圍的隨意性，具有更好的樣本局部非線性流形特征表達能力。筆者提出一種自適應鄰域構造方法，基于馬氏距離相似系數均值及樣本高斯核概率密度估計調整自適應獲得樣本近鄰數，并將自適應鄰域構造方法應用于PCA-LPP流形學習算法，通過齒輪箱故障信號特征向量降維識別驗證了自適應鄰域PCA-LPP方法的有效性。

1 自適應鄰域構造方法

設高維空間RD中存在數據集X=[x1,x2,…,xN]，基于近鄰圖構造相似矩陣S能夠用于多種流形學習算法，實現數據的降維處理。

傳統的k近鄰構造方法，基于樣本間的歐氏距離計算樣本相似性，每個樣本近鄰值相同，相似系數具體表達如下

(1)

k近鄰法存在兩點不足：a.所有樣本采用相同的近鄰數，不能很好地適應每個樣本的局部流形結構特征；b.近鄰數的選擇沒有成熟的算法，常使用的交叉驗證方法存在效率低下等弊端。

1.1 馬氏距離相似度衡量

馬氏距離是一種基于數據協方差的距離描述，其定義為

(2)

其中:C為數據集X的協方差矩陣。

馬氏距離對一切非奇異性線性變換具有不變性，不受特征量綱選擇的影響。馬氏距離與歐氏距離的對比如圖1所示，圖中虛線圓為歐氏距離等距線，實線橢圓為馬氏距離等距線。由圖1可以看出，馬氏距離的描述更符合數據真實的分布情況，僅當協方差矩陣C為單位矩陣時，馬氏距離與歐氏距離才會相等[9]。

圖1 馬氏距離與歐氏距離Fig.1 Mahalanobis distance and Euclidean distance

基于馬氏距離數據分布特征描述方面的優勢，提出基于馬氏距離的樣本相似矩陣構造方法，相似矩陣元素表達如下

(3)

其中：αij=exp(-dij/β)；β為所有樣本之間馬氏距離均值的平方。

1.2 核密度估計調整

樣本近鄰構造時，空間中密集分布的樣本局部特征往往較為相似。對樣本xi來講，其附近區域其他樣本出現的概率密度越大，表示與其具有相似局部特征的樣本越多，則xi對應的樣本近鄰數應該大一些。據此提出將高斯核密度估計(Gauss kernel density estimation，簡稱GKDE)[10]用于近鄰圖構造，對基于相似系數均值Mi的自適應近鄰結果進行修正調整。

高斯核密度估計是一種非參數概率密度估計方法，能夠在樣本分布先驗知識未知的情況下，根據樣本自身信息估計總體分布概率密度。高維空間RD中樣本xi的鄰域概率密度高斯核估計為

(4)

(5)

其中：floor表示數據向負無窮大方向取整。

通過式(5)可知，當xi附近數據樣本分布密度大時，該點的近鄰數自動調整增大，當其附近數據分布稀疏時，近鄰數自動調整減小。

1.3 自適應鄰域構造流程及特性

圖2 自適應鄰域構造流程Fig.2 Flow chart of adaptive neighborhood selection

自適應鄰域構造方法最終得到的相似矩陣S一般情況下是非對稱的,主要包含以下幾種情況：

2) 與第1假設相同，當樣本xi和xj互相不為近鄰時，相似系數αij=αji=0，相似矩陣S對稱;

自適應鄰域構造方法與傳統k近鄰方法都是為了表達數據樣本局部結構的相似性，主要不同為:

1) k近鄰方法基于歐氏距離計算樣本相似系數，自適應鄰域構造方法基于馬氏距離計算相似系數，能夠更好地考慮樣本分布特性；

2) k近鄰方法所有樣本近鄰數需人為設置，自適應近鄰構造方法根據相似系數均值Mi確定樣本初始近鄰數，并采用樣本分布概率密度調整近鄰數；

3) k近鄰方法所有樣本近鄰數均相等，自適應近鄰構造方法每個樣本的近鄰數不一定相等，且一般都不相等；

4) k近鄰方法得到的相似矩陣S是對稱的，自適應近鄰構造方法得到的相似矩陣S一般不對稱。

1.4 自適應鄰域構造實例

采用26個隨機二維數據樣本，說明自適應鄰域構造方法的特點。采用自適應鄰域構造方法尋找樣本近鄰，以樣本點A(1,4)和點B(8.5,5)的近鄰求解進行說明，并給出k近鄰方法的對比，設定k=8。表1為自適應近鄰求解過程中的參數及結果。圖3中4幅圖所示為原始26個樣本點及點A和點B的3種近鄰求解結果。

表1 近鄰求解參數及結果

圖3 點A和點B近鄰結果分布Fig.3 Neighborhood for point A and point B

2 自適應鄰域PCA-LPP流形學習算法

自適應鄰域構造方法能夠用于多種基于近鄰圖構造的流形學習算法，筆者將其應用于一種結合主元分析與局部保持投影的PCA-LPP改進流形學習算法中，標準局部保持投影算法中相似矩陣S為對稱矩陣，其對稱性對算法的求解帶來很大便利。但自適應鄰域構造方法得到的相似矩陣S一般為非對稱矩陣，其在PCA-LPP中的求解推導如下。

PCA-LPP流形學習目的在于將高維空間RD中的數據集X=[x1,x2,…,xN]，通過投影矩陣W轉換投影到低維投影空間Rd(d

PCA方法尋找數據分布方差最大的坐標系，其全局目標函數為

(6)

LPP是一種非線性局部流形保持投影算法，能夠保持投影前后數據樣本間的局部結構相似，其局部目標函數為

(7)

其中：L′為拉普拉斯矩陣；Dii和Djj為對角陣，其元素為Dii=∑jsij，Djj=∑isij；D′=Dii+Djj;S′=S+ST;sij為相似系數，構成相似矩陣S;W為投影矩陣。

PCA-LPP流形學習算法兼顧PCA的全局分布方差最大特性及LPP的局部流形保持特性，能夠全面刻畫數據的整體和局部特征，其全局目標函數為

(8)

其中：限定條件WTXD′XTW=I可消除隨機尺度因子的影響。

在LPP局部目標函數中，自適應鄰域構造方法得到的相似矩陣S是非對稱矩陣，但局部目標函數Jl(W)中的矩陣L′是對稱矩陣，其證明如下。

證明： ? 相似矩陣S

∵ Dii=∑jsij，Djj=∑isij均為對角陣

∴ Dii和Djj為對稱矩陣

∴ D′=Dii+Djj,S′=S+ST為對角對稱矩陣

∴ L′=D′-S′為對稱矩陣。

自適應鄰域構造PCA-LPP算法的目標函數式(8)可以通過拉格朗日乘子法[11]，將其轉化為有約束最大值問題，如式(9)所示

(9)

式(9)對W求導并置零可得

(10)

化簡式(10)可以得到

(C-XL′XT)W=λXD′XTW

(11)

由式(11)可知，投影矩陣W的求解，實質是廣義特征值求解問題，通過求取前d個最大特征值對應的特征向量，從而得到投影矩陣W，投影后低維數據通過Y=WTX計算。

由此可以得到自適應鄰域PCA-LPP流形學習算法流程,如圖4所示。

圖4 自適應鄰域PCA-LPP算法流程Fig.4 PCA-LPP algorithm based on adaptive neighborhood

3 齒輪箱故障特征降維分析

流形學習算法在數據可視化以及故障特征降維識別中應用廣泛[12-13]，下面對自適應鄰域PCA-LPP流形學習算法的性能進行驗證。

采用齒輪箱故障實測聲發射信號對PCA-LPP的特征降維性能進行驗證。試驗中齒輪箱故障包括正常狀態、軸承內圈故障、外圈故障、內外圈復合故障及齒根裂紋故障5種模式，故障軸承為6206，安裝在中間傳動軸，故障齒輪為中間傳動軸大齒輪，一級傳動比為0.5，齒輪箱結構原理及傳感器安裝如圖5所示。試驗中齒輪箱空負載運轉，其輸入軸轉速為1 490 r/min。信號采集設備為北京軟島DS2-8A型全息聲發射信號分析儀，設置采集儀采樣頻率為1 MHz，采集儀硬件濾波參數為100 kHz～400 kHz帶通濾波，聲發射傳感器為聲華SR150M型，匹配40 dB前置放大器。每個數據樣本長度為1 s，每種故障模式對應70個樣本，5種模式共350個樣本。

對每個故障信號樣本進行db4小波包4層分解，重構各子頻帶小波包系數，得到16個子頻帶重構分量，各子頻帶寬度為31.25 kHz，計算子頻帶信號能量，得到能量特征向量E=[E1，E2，…，E16]，求取16個子頻帶信號的能量熵作為特征向量[8]，能量熵的計算方法如下。

(12)

采用自適應鄰域PCA-LPP方法對所提故障特征向量進行處理，并將降維后特征向量輸入支持向量機進行訓練識別，對比故障模式的分類識別性能，每個故障70個樣本中，40個用于訓練支持向量機分類器，30個用于樣本故障分類識別。

3.1 自適應鄰域PCA-LPP故障特征降維識別分析 齒輪箱故障聲發射信號的特征向量原始維度為16維，采用自適應鄰域PCA-LPP對故障特征向量進行降維處理，降維后特征的維度范圍為3～15維，間隔為1。不同降維數的特征向量輸入支持向量機的整體故障識別率如圖6所示。由圖6可以看到，原始的16維特征向量經降維處理，不同維度的特征向量對應的故障辨識率有所不同。辨識率在5維以后出現明顯增高，當降維數d=8時，整體故障辨識率最高，達到94.67%。其中整體故障辨識率指各單項故障識別率的均值，表示4種故障類型正確識別的總數占150個測試樣本的比例。

降維數d=8時，不同故障的辨識率如表2所示。由表2可知，各類故障模式中，齒根裂紋辨識率最高，因為齒根裂紋與其他幾種故障具有明顯不同，而復合故障辨識率最低，因為復合故障與內、外圈故障具有相似特征成分。

圖6 不同降維數的故障識別率Fig.6 Fault identification rate of different dimensions

故障類型齒根裂紋正常狀態內圈故障外圈故障復合故障整體識別率%10096．6793．3393．3390．0094．67

3.2 不同識別方法性能對比

對文中的故障特征向量，將k近鄰PCA-LPP方法降維識別結果、基于歐氏距離的自適應PCA-LPP方法降維識別結果以及原始特征向量不做任何處理的識別結果與3.1節的識別結果進行對比，k近鄰方法的最優識別結果通過交叉驗證獲得。設置近鄰值k的變換范圍為5～30，間隔為1，降維數d的范圍為3～15，間隔為1，計算后得到k近鄰方法在k=17，d=7時獲得最高識別率。基于歐氏距離的自適應PCA-LPP方法降維識別在降維數d=8時取得最高識別率。4種方法的識別率對比如表3所示。

表3 3種情況識別率對比

從表3可以看到，原始16維特征向量，不經任何處理，直接進行支持向量機分類器的訓練和識別，其故障識別率最低，僅為53.33%，而采用流形學習算法降維之后，故障識別率明顯提升。對于同樣的PCA-LPP流形學習算法，不同的鄰域構造方法帶來的降維效果差異較大。自適應鄰域構造方法降維后特征的故障識別率可達94.67%，而k近鄰方法降維后特征的故障識別率為86.67%。不同相似度衡量方法帶來的降維效果也不同，基于馬氏距離的相似度衡量最終故障識別率為94.67%，而基于歐氏距離的相似度衡量最終識別率卻為88.67%。原始特征向量維度高，其中包含故障特征的差異信息，但高維度同時包含過多的冗余信息，因此其故障識別率低。k近鄰方法對所有樣本采用相同的近鄰數，對各樣本局部鄰域的描述不能做到分而劃之，基于歐氏距離的相似度衡量，對數據樣本的分布情況不能充分考慮，因此兩種方法特征向量的降維效果不如自適應鄰域構造方法，故其故障識別率低于自適應鄰域PCA-LPP方法。

4 結束語

針對流形學習算法中近鄰圖的構造問題，提出一種基于馬氏距離的相似矩陣元素計算。根據相似矩陣元素均值確定初始鄰域數，并由數據樣本鄰域高斯核概率密度估計結果調整樣本近鄰數，解決了自適應構造近鄰圖的問題。將自適應鄰域構造方法應用于兼顧PCA與LPP二者特性的改進流形學習算法，并給出相應的理論計算模型，證明了求解拉普拉斯矩陣的對稱性。通過齒輪箱故障聲發射信號16維能量熵特征的降維識別對自適應鄰域PCA-LPP流形學習算法的性能進行驗證，結果表明故障特征降到8維時識別率最高，可以達到94.67%。對比研究表明，自適應鄰域構造PCA-LPP方法的降維識別性能優于k近鄰PCA-LPP方法以及原始特征向量的識別率。

[1] 趙振華，郝曉弘. 局部保持鑒別投影及其在人臉識別中的應用[J]. 電子與信息學報， 2013，35(2):463-466.

Zhao Zhenhua, Hao Xiaohong. Linear locality preserving and discriminating projection for face recognition[J]. Journal of Electronics & Information Technology， 2013，35(2): 463-466.(in Chinese)

[2] He Xiaofei, Niyogi P. Locality preserving projections[C]∥Neural Information Processing Systems16. Cambridge,USA: MIT Press, 2004：153-160.

[3] 許慶誠，胡建中. 基于改進增量LE的壓縮機故障特征提取方法[J]. 儀器儀表學報，2013，34(4):791-796.

Xu Qingcheng, Hu Jianzhong. Fault feature extraction method for compressor based on improved incremental Laplacian eigenmap algorithm[J]. Chinese Journal of Scientific Instrument， 2013，34(4):791-796.(in Chinese)

[4] 何強，蔡洪，韓壯志，等. 基于非線性流形學習的ISAR目標識別研究[J]. 電子學報， 2010,38(3):585-590.

He Qiang, Cai Hong, Han Zhuangzhi, et al. ISAR target recognition based on non-linear manifold learning[J]. Acta Electronica Sinica，2010，38(3):585-590.(in Chinese)

[5] Yang Bo, Chen Songcan. Sample-dependent graph construction with application to dimensionality reduction[J]. Neurocomputing， 2010，74(5): 301-314.

[6] 劉鳳連，汪日偉，程俊，等. 圖像特征提取中領域尺寸和本征維數的自動選擇算法[J]. 光電子·激光， 2013，24(12): 2416-2420.

Liu Fenglian, Wang Riwei, Cheng Jun, et al. Auto-selected algorithm of the neighborhood size and intrinsic dimension for image feature extraction[J]. Journal fo Optoelectronics·Laser， 2013，24(12): 2416- 2420.(in Chinese)

[7] 黃璞，唐振民. 無參數局部保持投影及人臉識別[J]. 模式識別與人工智能， 2013，26(9): 865-871.

Huang Pu, Tang Zhenmin. Parameter-free locality preserving projections and face recognition[J]. Pattern Recognition and Artificial Intelligence， 2013，26(9): 865-871.(in Chinese)

[8] 李城梁，王仲生，姜洪開,等. 自適應Hessian LLE在機械故障特征提取中的應用[J]. 振動工程學報, 2013,26(5): 758-763.

Li Chengliang, Wang Zhongsheng, Jiang Hongkai, et al. Adaptive Hessian LLE in mechanical fault feature extraction[J]. Journal of Vibration Engineering，2013， 26(5): 758-763.(in Chinese)

[9] 駱志高，李旭東，趙俊麗，等. 利用馬氏距離判別法準確實現對裂紋的識別[J]. 振動與沖擊,2013,32(21): 186-188.

Luo Zhigao, Li Xudong, Zhao Junli, et al. Crack identification with mahalanobis distance discrimination method[J]. Journal of Vibration and Shock,2013,32(21): 186-188.(in Chinese)

[10]孫即祥. 現代模式識別[M]. 長沙：國防科技大學出版社，2002:136-140.

[11]李鋒，王家序，楊榮松. 有監督不相關正交局部保持映射故障辨識[J]. 儀器儀表學報, 2013,34(5): 1113-1116.

Li Feng, Wang Jiaxu, Yang Rongsong. Fault identification method on supervised uncorrelated orthogonal locality preserving projection[J]. Chinese Journal of Scientific Instrument,2013,34(5): 1113-1116.(in Chinese)

[12]宋濤，湯寶平，李鋒. 基于流形學習和K-最近鄰分類器的旋轉機械故障診斷方法[J]. 振動與沖擊,2013,32(5): 149-153.

Song Tao, Tang Baoping, Li Feng. Fault diagnosis method for rotating machinery based on manifold learning and K-nearest neighbor classifier[J]. Journal of Vibration and Shock, 2013,32(5):149-153.(in Chinese)

[13] 劉忠寶，潘廣貞，趙文娟. 流形判別分析[J]. 電子與信息學報,2013,35(9):2047-2050.

Liu Zhongbao, Pan Guangzhen, Zhao Wenjuan. Manifold-based discriminant analysis[J]. Journal of Electronics & Information Technology,2013,35(9): 2047-2050.(in Chinese)

10.16450/j.cnki.issn.1004-6801.2016.06.027

*國家自然科學基金資助項目(50775219)

2014-11-12；

2015-03-27

TH165; TN911

張曉濤，男，1987年5月生，博士生。主要研究方向為機械系統性能檢測與故障診斷。曾發表《基于SVD與Fast Kurtogram算法的滾動軸承故障診斷》(《振動與沖擊》2014年第33卷第10期)等論文。 E-mail：headic@163.com