主成分分析法與核主成分分析法在機械噪聲數據降維中的應用比較

梁勝杰 張志華 崔立林

海軍工程大學，武漢，430033

主成分分析法與核主成分分析法在機械噪聲數據降維中的應用比較

梁勝杰 張志華 崔立林

海軍工程大學，武漢，430033

依據線性降維與非線性降維的分類原則，分別選擇主成分分析法和核主成分分析法對某雙層圓柱殼體在不同工況下的機械噪聲數據進行降維；然后使用神經網絡和支持向量機兩種方法分別計算噪聲數據在降維前后的正確識別率，以比較不同降維方法的降維效果，從而確定適合于某雙層圓柱殼體機械噪聲數據的降維方法。

主成分分析法；核主成分分析法；核函數；神經網絡；支持向量機；機械噪聲；降維

0 引言

雙層圓柱殼體的水下噪聲主要來源于自身的機械設備［1］，此類噪聲屬于機械噪聲。為了全面分析此類噪聲的特點及規律，需要采用盡可能多的特征量進行表征。由于特征量很多，且特征量之間往往存在相關關系，因此很難直接抓住它們之間的主要關系，這就需要一種簡化數據的方法使高維數據降維，以便獲得噪聲數據的主要信息。通過降維可以有效去除機械噪聲數據中的冗余信息，從而降低數據分析處理的難度。

目前，數據降維方法主要分為兩大類［2］：線性降維和非線性降維。主成分分析法（PCA）因為其概念簡單、計算方便、線性重構誤差最優等優良的特性，成為數據處理中應用最廣泛的線性降維方法之一。核主成分分析法（KPCA）作為PCA方法在處理非線性問題時的擴展，近年來得到了快速發展。

本文將PCA方法和KPCA方法，應用于某雙層圓柱殼體機械噪聲數據的降維之中，然后使用神經網絡（NN）和支持向量機（SVM）兩種方法分別計算噪聲數據降維前后的正確識別率，通過正確識別率比較PCA方法和KPCA方法的降維效果，從而選擇更適合于這種雙層圓柱殼體機械噪聲數據的降維方法，并由此初步分析出噪聲數據的線性或非線性特點。

1 PCA方法與KPCA方法的基本原理

PCA方法是一種基于二階統計的數據分析方法，該方法在各個變量之間相關關系研究的基礎上，用一組較少的、互不相關的新變量（即主元）代替原來較多的變量，而且使這些新變量盡可能多地保留原來復雜變量所反映的信息，具體計算步驟見文獻［3］。

KPCA方法是一種非線性主元分析方法［4］。其主要思想是通過某種事先選擇的非線性映射Φ將輸入矢量X映射到一個高維線性特征空間F之中，然后在空間F中使用PCA方法計算主元成分。在高維線性特征空間中得到的線性主元實質上就是原始輸入空間的非線性主元。

設xi∈Rd（i＝1，2，…，n）為輸入空間的d維樣本點。通過非線性映射Φ將Rd映射到特征空間F，即

F中的樣本點記作φ（xi）。

非線性映射Φ往往不容易求得，KPCA方法通過使用核函數來完成從輸入空間到特征空間的非線性映射。定義核函數k（xi，xj）＝ 〈φ（xi），φ（xj）〉，這樣特征空間中兩向量的內積可以用輸入空間中的兩變量的核函數來表示。

核函數是滿足Mercer條件的任意對稱函數（實正定函數），常用核函數的特性如下：

其中，a、b、c、d、e、f 為選定的參數，通常取s（xi，xj）＝xTixj。

KPCA方法只需要在原空間中計算用作內積的核函數，無需知道非線性映射函數φ（x）的形式，也無需計算非線性變換，具體計算步驟見文獻［5］。

PCA方法與KPCA方法已廣泛應用于特征提取、數據壓縮、圖像降噪、分類識別、綜合評價以及過程監視等諸多領域。

2 雙層圓柱殼體機械噪聲數據

在獲取某雙層圓柱殼體的機械噪聲數據時，設定8個不同工況，如表1所示。

表1 工況設置

在殼體的不同位置布置19個加速度傳感器（每個傳感器稱為一通道），測定不同工況下的噪聲數據。采樣時間為8s，采樣頻率為2048Hz。

由于在同一個通道下的采樣點較多，且特征單一，不易分析其規律特點，因此對樣本點進行預處理：

（1）選定信號處理中常用的10個特征量，即波形因數、峰值因數、脈沖因數、振動加速度總級、期望、方差、標準差、三階累量、四階累量和有效值。

（2）以2048個相鄰樣本點為一個樣本段，并以70個樣本點為步長，將樣本段逐步向后平移，即可在16 384個樣本點內得到約205個樣本段。

（3）取前200個樣本段，在每個樣本段內計算選定的10個特征量。

本文重點是比較PCA方法與KPCA方法的降維效果，故只選取10個常用的特征量作為例子，實際上可以選擇更多的特征量以更全面地表征噪聲數據。

預處理后，在每一工況下的每一通道上可得到一個10×200（10是維數，200是樣本量）的噪聲數據，則在8種工況下，每一條通道上可得到8個10×200的噪聲數據。

3 PCA方法與KPCA方法的主元數目

對上述噪聲數據首先選擇PCA方法降維，并依據累積貢獻率大于0.85的門限值選擇主元個數［3］。8種工況下，每一通道上噪聲數據的PCA主元計算結果如表2所示。

表2 PCA方法降維后的主元個數

由表2可知，8種工況下，在19條通道上的噪聲數據經PCA方法降維后的主元個數為3的情況占67.1%，主元個數為2個的情況占30.9%，兩種情況合計占98%。因此，為保證降維后的數據能夠保留原始噪聲數據足夠多的信息，使用PCA方法降維時統一取3個主元。

本文主要比較PCA方法與KPCA方法對機械噪聲的降維效果，因此使用KPCA方法時也取3個主元。

4 PCA方法與KPCA方法降維效果比較

4.1 比較方法

神經網絡與支持向量機是模式識別領域最常用的兩種方法。神經網絡是一種基于經驗風險最小原理的方法，它以分布式方式存儲信息，具有高度的并行性、較強的自學習自適應性、良好的容錯性和聯想記憶功能，主要用于解決復雜的分類問題［6］。支持向量機是在 Vapnik［7］建立的統計學習理論基礎上發展起來的機器學習算法，它主要基于VC維理論和結構風險最小化原理，能夠很好地解決訓練樣本較少時的分類問題［8］。目前這兩類方法已廣泛應用于分類識別、故障診斷和入侵檢測等領域之中［9－12］。

本文主要使用神經網絡和支持向量機對不同工況下的噪聲數據進行分類識別，通過對噪聲數據的正確識別率，比較PCA和KPCA兩種方法降維效果的好壞。

某雙層圓柱殼體機械噪聲數據經過降維后，若保留原始信息越多，則來自不同工況下的組合數據經過NN或SVM分類后的正確識別率就會越高；反之，正確識別率就會越低。在每一通道下，使用NN和SVM計算噪聲數據降維前和分別經PCA方法、KPCA方法降維后的正確識別率。依據正確識別率比較兩種降維方法的降維效果，同時也比較KPCA方法在選擇不同核函數時的降維效果。降維后，X′i和X″i分別為3×k的數據和3×l的數據。

本文使用的神經網絡為BP神經網絡，支持向量機工具箱為stprtool，訓練樣本個數和測試樣本個數取k＝l＝5，運行平臺均為MATLAB7.1。

4.2 KPCA方法在不同核函數時的降維效果比較

KPCA方法是基于核函數的學習方法。核函數反映了樣本在高維特征空間中彼此的相似程度，而樣本之間的相似程度一旦給定，樣本間的分類其實也就基本上確定了。一個好的核函數，會使同類的樣本相互靠近，使異類的樣本相互遠離。正確選擇核函數和核參數將會提高KPCA方法的整體性能。

計算可知，對于文中的噪聲數據使用KPCA方法降維時，選擇Sigmoid核函數得到的s（xi，xj）較大，此時k（xi，xj）總趨向于1。因此，本文只選取高斯徑向核函數和多項式核函數進行計算，且b＝c＝1，a與d根據經驗在一定范圍內取值。

根據經驗，使用高斯徑向核函數（稱為KP－1方法）和多項式核函數（稱為KP－2方法）時，選擇核參數a、d的取值范圍為0.1～1，步長為0.1。經MATLAB編程計算，其結果如表3所示。

表3 KP－1方法與KP－2方法降維后的正確識別率

表3中，第3、5、7、9列分別是KP－1方法與KP－2方法在各自核參數取值范圍內得到的正確識別率最大值，此時a與d分別為對應的核參數值。可以看出：使用神經網絡進行分類識別時，KP－1方法正確識別率高于KP－2方法正確識別率的有8條通道，小于KP－2方法正確識別率的有6條通道，兩者相當的有5條通道，即KP－1方法的降維效果稍好；使用支持向量機進行分類識別時，KP－1方法正確識別率高于KP－2方法正確識別率的有11條通道，小于KP－2方法正確識別率的有7條通道，兩者相當的有1條通道，即KP－1方法的降維效果明顯較好。

兩種識別方法在19條通道上的運行總時間和單通道上運行的平均時間如表4所示。

表4 NN與SVM進行分類識別的運行時間 s

由表3中的正確識別率和表4中的運行時間可知，同等條件下神經網絡方法和支持向量機方法在識別能力方面差別不大，但是支持向量機方法的運算速度要快得多。因此對于某雙層圓柱殼體的機械噪聲數據，在使用KPCA方法進行降維處理時，最好選擇高斯徑向核函數，并通過支持向量機方法進行分類識別分析。

4.3 PCA與KPCA方法的降維效果比較

對8個不同工況下的機械噪聲數據組成的混合數據分別使用NN和SVM計算降維前后的正確識別率，其結果如表5所示。

表5 機械噪聲數據降維前后的正確識別率

比較表5中計算結果可知，不論使用哪種識別方法，降維前的正確識別率都比降維后的正確識別率高（至少相等），而由KPCA方法降維后得到的正確識別率在絕大部分通道上要比PCA方法降維后的正確識別率高。也就是說，數據降維后會損失掉一部分原始信息，造成正確識別率下降，但是對于某雙層圓柱殼體的機械噪聲數據來說，在主元數目相同的條件下，只要選擇合適的核函數及核參數，就能保證使用KPCA方法降維后保留的信息要比使用PCA方法降維后保留的信息要多，即KPCA方法的降維效果要好。

5 結束語

事實上，可將本文中的10個特征量擴展到幾百個甚至上千個，此時的噪聲數據屬于典型的高維數據，分析其結構前先進行降維就顯得十分必要。通過本文對PCA方法和KPCA方法實際應用的比較可知：在主元數目相同（即數據結構的復雜度相同）的條件下，由于將數據特點的研究范圍從線性擴大到非線性上，從而使得使用KPCA方法降維比使用PCA方法降維保留的原始數據信息更多，效果更好，因此，對某雙層圓柱殼體機械噪聲數據降維時，應優先考慮使用非線性降維方法——KPCA方法，且選擇高斯徑向核函數效果更好。

［1］ 施引，朱石堅，何琳.艦船動力機械噪聲及其控制［M］.北京：國防工業出版社，1990.

［2］ 吳玲達，賀玲，蔡益朝.高維索引機制中的降維方法綜述［J］.計算機應用研究，2006，23（12）：4－7.

［3］ Jolliffe I T.Principal Component Analysis［M］.2nd ed.New York：Springer，2002.

［4］ Scholkopf B，Smola A，Muller K R.Nonlinear Component Analysis as a Kernel Eigenvalue Problem［J］.Neural Computation，1998，10（5）：1299－1319.

［5］ Rosipal R，Girolami M，Trejo L J，et al.Kernel PCA for Feature Extraction and De－noising in Non－linear Regression［J］.Neural Computing and Applications，2001，10（3）：231－243.

［6］ 王洪遠，史國棟.人工神經網絡技術及其應用［M］.北京：中國石化出版社，2002.

［7］ Vapnik V N.The Nature of Statistical Learning Theory［M］.New York：Springer－Verlag，1995.

［8］ Vapnik V N.Statistical Learning Theory［M］.New York：Wiley，1998.

［9］ Suykens J A K，Vandewalle J.Least Squares Support Vector Machine Classifiers［J］.Neural Processing Letters，1999，9（3）：293－300.

［10］ Wu J N，Wang J，Liu L.Feature Extraction via KPCA for Classification of Gait Patterns［J］.Human Movement Science，2007，26（3）：393－411.

［11］ 高海華，楊輝華，王行愚.基于PCA和KPCA特征抽取的SVM網絡入侵檢測方法［J］.華東理工大學學報（自然科學版），2006，32（3）：321－326.

［12］ 魯書賢，劉正熙，劉顯賓，等.基于SVM和NN的空管手寫符號的識別研究［J］.四川大學學報（自然科學版），2008，45（4）：790－794.

Comparison between PCA and KPCA Method in Dimensional Reduction of Mechanical Noise Data

Liang Shengjie Zhang Zhihua Cui Lilin
Naval University of Engineering，Wuhan，430033

According to the classification principle of linear and non－linear dimensional reduction，this paper dealt with mechanical noise data under different working－modes through PCA and KPCA.Lastly，the paper computed the right recognition percentage of noise data，including had been reduced and not，by NN method and SVM method，and compared the excellence for PCA and KPCA in dimensional reduction.Consequently，a better method of dimensional reduction is selected for ribbed cylindrical double－shells according to the results.

PCA（principal components analysis）；KPCA（kernel PCA）；kernel function；NN（neural network）；SVM（support vector machine）；mechanical noise；dimensional reduction

TB53；O212.4

1004—132X（2011）01—0080—04

2010—01—15

國家自然科學基金資助項目（50775218）

（編輯 郭 偉）

梁勝杰，男，1981年生。海軍工程大學兵器工程系博士研究生。主要研究方向為武器系統總體技術、高維數據處理。張志華，男，1965年生。海軍工程大學應用數學系教授、博士研究生導師。崔立林，男，1981年生。海軍工程大學振動與噪聲研究所博士研究生。