基于改進的核主成分法的應用

谷偉偉

（中國礦業大學理學院，江蘇 徐州 221116）

基于改進的核主成分法的應用

谷偉偉

（中國礦業大學理學院，江蘇 徐州 221116）

通過計算機調試給出了一個合理的核參數，從而建立了一個核主成分模型.然后用核主成分法對2010年江蘇省13個市的居民生活水平進行分析，并和主成分分析結果作了對比，發現改進后的核主成法分析的結果更加合理.最后對江蘇未來居民生活水平的改善提出了一些合理的建議，供有關部門參考.

主成分分析；核主成分分析；SPSS；MATLAB

主成分分析已廣泛地應用于各個領域.文獻［1-2］給出了主成分法在人臉識別中的應用.但主成分分析也有自身的局限，有時候數據間的相關性不是很強，這時變量間就呈現出非線性的關系.核主成分分析是主成分分析的推廣，它能處理一些非線性問題.文獻［3］給出了相關結論的證明.文獻［4-9］給出了核主成分分析在不同領域中的應用.本文在上述文獻的基礎上，通過MATLAB調試出了一個合理的參數（許多文獻是憑經驗給定參數），并分析了原因，最后給出一種簡便算法，進而算出得分.之后和主成分分析結果相對比，發現核主成分分析的結果較好，提高了綜合評價的合理性.

1 預備知識

1.1 主成分模型

設原始樣本為x1,x2,…,xn.xk∈Rp,k=1,2,…,n（即p個變量，n個樣本）.對數據進行中心化后的協方差陣為因為C是實對稱矩陣，所以它必可正交對角化.

設λ1,λ2,…,λr，0，…，0為C的p個特征值，不失一般性λ1≥λ2≥…≥λr>0.C的正交標準化特征向量構成的矩陣為L=(l1,l2,…,lp).即有

1.2 核主成分模型

作一個映射?，?: Rp→F，進而空間F中的樣本為φ(x1),φ(x2),…,φ(xn)，則中心化后的協方差陣為

（1）（2）都要求λ≠0，不同點是（2）式中K的特征值一定不為0，而（1）式則不能說明K的特征值一定不為0，但我們感興趣的是K的特征值不為0的情況.

其中u=αnormal.

由文獻［3］知樣本主成分是樣本和特征向量的內積，或是樣本在正交標準化特征向量上的投影.利用這個思想，我們算出F空間中的樣本主成分，即用F中的樣本和標準化特征向量v作內積.

不難證明：這里的ti即為K的第i個特征向量乘上對應的nλi.由于?是未知的，因此不好求，這里用多項式核函數來代替內積.

經過MATLAB一系列調試，發現：當d=1,2,…8時，K的方差貢獻率都不到90%；當d=9時，貢獻率為93.5%；當d>9時，尤其是當d取較大的數時，雖然第一特征值的方差貢獻率非常大，但是最大特征根所對應的特征向量中的分量會趨于相同，無法進行樣本的比較.

原因分析：隨著d取值的增大，矩陣K中的元素會很快變大，而MATLAB中的數據是以科學計數法的形式呈現的.在矩陣K中，n×n個元素是差別很大的，如果它們都除以最大元素的數量級，那么有的較小的元素會變為0.000 0（不為0）.這樣的話，K中的很多正特征根會不斷變為0.000 0，就容易出現K中的某些行元素會趨于相同，從而導致特征向量中的大部分分量相同而無法比較.

2 實例分析

本文選取的數據直接來自《江蘇省統計年鑒2011》中7個反映居民生活水平的指標，具體指標如下：

x1：城鎮居民人均可支配收入（元）；x2：農村人均純收入（元）；x3：年末居民儲蓄存款余額（萬元）；x4：城鎮居民人均居住面積（平方米）；x5：農村居民人均居住面積（平方米）；x6：城鎮居民恩格爾系數（%）；x7：農村居民恩格爾系數（%）.

恩格爾系數表示食物支出占總消費之比，它越大表明越不富裕，因此x6和x7是負向化指標，所以應該將它們正向化，即在原始的x6和x7上同時乘以-1.為了消除量綱的影響，我們對原始數據進行標準化，標準化后的變量記為ZX1—ZX7（見表1）.

經過SPSS計算，KMO值為0.63，說明不太適合進行主成分分析.非零特征根為4.629，1.366，第一方差貢獻率為66.123%，且方差累計貢獻率僅為85.635%（圖表略），因此這兒要取2個主成分.

下面用核主成分法分析.采用核函數kij=[+1]9，A為表1中的數據.

一般情況下?(x1),?(x2),…,?(xn)不一定是中心化的，可以做個變換其中B是一個n×n矩陣，元素都是，具體見文獻［10］.下面算法中的T和K分別表示上文的K和.

MATLAB中的具體算法是

K的非零特征值為1.881 3，0.118 3，0.005 4，0.003 6，0.002 0，0.001 5，0.000 4，0.000 2，第一特征貢獻率就達到93.5%，因此這里只要取第一主成分即可.

將以上兩種方法的計算結果放在一起對比分析，見表2.

表1 標準化后的數據

表2 兩種方法的結果對比

3 分析

CLU5表示用聚類方法將樣本分為5類. CLU5_1是主成分法分類的結果；CLU5_2是用核主成分法分類的結果.

在CLU5_1中：南京、徐州、淮安、鹽城分在一起是不妥的，因為南京是省會，位于蘇南，而徐州、淮安、鹽城都是蘇北的城市.南京的綜合發展實力遠遠超過徐、淮、鹽；鎮江沒有什么突出的地方，不應該單獨為一類，相反，蘇州經濟發展強勢，更應脫穎而出.綜上，CLU5_1分類的結果不太合理.

在CLU5_2中：蘇州單獨一類，蘇州經濟發展一直較快，在各個方面都有一定的優勢；南京、無錫、常州分為一類，但這類在x4上的得分不高，尤其是南京最低，因此要合理控制好房價，改善人民的居住條件；南通、徐州、鹽城、揚州、泰州分為一類，其中因為徐州人口較多，所以徐州在x4和x5上得分較低，因此政府應該努力提供保障性住房；淮安、鎮江分為一類，其中蘇南的鎮江得分最低，主要原因是恩格爾系數過高，導致鎮江在x6和x7上的得分較低，因為鎮江人舍得在食品上面消費.因此，今后政府可以鼓勵百姓在其他方面增加消費，如精神上的消費；連云港、宿遷分為一類，這一類在x1，x2，x3上得分都比較低，因此要大力發展經濟，切實提高人民的收入水平.對整個江蘇省而言，政府應該在各個方面加大對蘇北的投入，增加人民收入，因為沒有蘇北的騰飛，就沒有整個江蘇的騰飛.

之所以出現CLU5_1不合理的現象，是因為用SPSS做主成分分析時，由于變量間的相關系數不大，導致KMO值較小，另外，提出的兩個主成分一共才包含了原始數據的85.6%的信息，而核主成分提出的第一主成分所含的信息就達93.5%.

最后應該指明，并不是主成分分析處理的結果都不理想，這要依據具體的數據而定，主成分分析處理時要求KMO值盡可能大，數據間有較強的相關性，而核主成分分析比較適合處理非線性的數據.

［1］RAJKIRAN G,VIJAYAN K A.An improved face recognition technique based on modular PCA approach［J］.Pattern Recognition Lett,2004,25(4):429-436.

［2］YANG J,ZHANG D.Two-dimensional PCA:A new approach to appearance-based face representation and recognition［J］.IEEE Trans Pattern Anal Machine Intell,2004,26(1):131-137.

［3］谷偉偉，王蘭，蘆凌飛.核主成分法的應用［J］.常熟理工學院學報，2013，27（4）：20-23.

［4］徐義田，王來生.核主成分分析在企業經濟效益評價中的應用［J］.數學的實踐與認識，2006，36（1）：35-38.

［5］楊道軍.核主成分分析法在生態經濟可持續發展評價中的應用［J］.環境科學與技術，2007，30（12）：91-93.

［6］李明月，任九泉.基于核主成分分析和加權聚類分析的綜合評價方法［J］.統計與決策，2010，16：158-160.

［7］肖慧，劉蘇東，黃小燕，等.基于核主成分的神經網絡集合預報建模研究［J］.計算機仿真，2010，27（12）：163-166，380.

［8］陳祥濤，張前進.基于核主成分分析的步態識別方法［J］.計算機應用，2011，31（5）：1237-1241.

［9］程艷秋，遲國泰.基于核主成分分析的生態評價模型及其應用研究［J］.中國管理科學，2011，19（3）：182-190.

［10］BERNHARD S,SMOLA A,MüLLER K R.Nonlinear Component Analysis as a Kernel Eigenvalue Problem［J］.Neural Computation,1998,10(5):1299-1319.

The Application of Improved Kernel Principal Component Analysis

GU Weiwei
(School of Sciences,China University of Mining and Technology,Xuzhou 221116,China)

This paper selects a proper parameter of kernel function by using computer testing and tries to make a study of the 13 cities of Jiangsu Province in 2010 by building a KPCA model.And it can be found that,compared with that of PCA,the result of KPCA is more reasonable.Besides,by dealing with the underlying causes, some useful suggestions are put forward to improve the living standards of the residents of Jiangsu province, which,at the same time,can be used as a reference for some departments.

principal component analysis;kernel principal component analysis;SPSS;MATLAB

O212.4

A

1008-2794（2017）02-0089-04

2015-06-10

谷偉偉，碩士，研究方向：多元統計，E-mail：864037364@qq.com.