主成分分析方法綜述

摘 要：主成分分析是一種非常有效的數據分析處理的技術，具有非常廣泛的應用前景。本文首先概述了主成分分析方法，然后介紹了PCA的定義、模型、算法及選取主成分個數的標準，對PCA技術的優勢和缺陷分別進行了剖析和總結，對PCA在評價排序、特征提取、模式識別、圖像處理、圖像分類和圖像壓縮等領域的實際應用進行了討論，對主成分分析方法的發展趨勢和應用前景做了展望。

關鍵詞：主成分分析；PCA模型；特征提取；圖像處理

中圖分類號：TP391 文獻標識碼：A

文章編號：2096-1472（2016）-06-01-03

Abstract：PCA（Principal Component Analysis）is an effective data analysis technique with a bright future of extensive application.The paper summarizes PCA in the first place，and then introduces its definition，data model，algorithm and the standards to determine the number of selected principal components.Moreover，the paper analyzes and summarizes the advantages and disadvantages of the PCA technique，and discusses its practical application in different fields，like evaluation and sorting，feature extraction，patter recognition，image processing，image classification and image compression.Finally，the paper makes expectation about the development trend and application prospect.

Keywords：PCA；PCA model；feature extraction；image processing

1 引言（Introduction）

PCA（Principal Component Analysis），主成分分析，是一種數據分析的技術，主要思想是將高維數據投影到較低維空間，提取多元事物的主要因素，揭示其本質特征。主成分分析的應用范圍非常廣泛，經常和分類、聚類，以及與其他方法連用進行數據處理。它可以高效地找出數據中的主要部分，將原有的復雜數據降維，去除整個數據中的噪音和冗余。

PCA是一種統計分析方法，它將原來眾多具有一定相關性的多個指標，重新組合成一組新的互相無關的綜合指標[1]。它是一種最小均方意義上的最優變換，目的是去除輸入隨機向量之間的相關性，突出原始數據中的隱含特性[2]。PCA方法的優勢在于數據壓縮以及對多維數據進行降維，它操作簡單，且沒有參數限制，可以方便的應用于各個場合。它經常被用于人臉識別和圖像壓縮、特征提取等領域，是在高維數據中尋找模式的一種技術[3]。

2 主成分分析方法（Principal component analysis ）

2.1 主成分分析方法的目標

由于原始數據的變量基數比較復雜，難以描述其特征，主成分分析提出了一種簡單解決問題的思想，從事物的主要方面進行重點分析。該方法認為某個事物的特征集中在幾個主要變量上，只需要將這幾個變量分離出來，對這幾個變量進行重點分析，用它們的線性組合表示事物的主要特征。因此，主成分分析方法的目標就是尋找x（x

2.2 PCA模型

PCA是一種正交變換，利用二階的統計信息進行計算。它強調數據之間的相似和不同，是一種在高維數據中尋找模式的技術[2]。對于原始數據，我們可以通過一些變換來提取數據間的內在特征，其中一種方法就是通過線性變換去實現[4]。這個過程可以表示為：

這里是一個變換值，可以把它當作基本的變換矩陣，通過此變換來提取原始數據的特征。令為表示環境的維隨機向量。假設均值為零，即：

令表示為維單位向量，在其上投影。這個投影被定義為向量和的內積，表示為：

在上式中，需滿足以下約束條件：

主成分分析方法就是尋找一個權值向量，它能夠使表達式 取最大值[4]。

2.3 特征值求解

PCA特征根求解的步驟如下：

（1）將原始數據表示為m*n的矩陣。n為原始數據的個數，m為變量個數。

（2）計算原始數據的均值。

（3）用原始數據減去均值，得到矩陣X。

（4）對XXT進行特征根分解，求特征向量及其對應的特征值。

（5）選取最大的若干個特征值對應的特征向量，即為求得的主成分。

PCA方法用線形代數可以描述為：尋找一組正交基組成的矩陣P，定義Y=PX，使得CY=MYYT是對角陣。P的行向量，就是數據X的主成分，也就是XXT的特征向量，矩陣CY對角線上第i個元素是數據X在方向Pi的方差[4]。

2.4 主成分數量的選取

主成分是n個原始變量的線性組合，各主成分之間互不相關。每個主成分對應一個方差，該方差為協方差陣對應的特征值，各主成分特征值之和為1。將主成分按照其對應的方差值從大到小依次排列，則最大的方差對應第一主成分，以此類推。

選擇主成分的數量取決于保留部分的累積方差在總方差中所占的百分比。由于所有主成分的總方差值是確定的，前面變量的方差較大，則后面的變量方差就較小。只有前幾個綜合變量才稱得上是主成分，后幾個綜合變量為次成分。一般情況下，可根據問題的實際需要，主觀地確定一個百分比值，當前x項的方差之和大于此百分比值時，就可以決定保留前x個主成分，而忽略后面的次成分[5]。

3 主成分分析的特點（Characteristic of PCA）

綜上所述，主成分分析方法有很多優點，可將其歸納如下：

（1）在數據處理時，舍棄了一部分主成分，只取前幾個方差較大的幾個主成分來表示原始數據，可減少計算量。

（2）主成分之間是互不相關的，消除了原始數據之間的相關影響。在選取評價指標時，消除了指標之間的相關影響，因此更容易選擇指標。而且實踐證明指標之間相關程度越高，主成分分析效果越好。

（3）在綜合評價函數中，主成分的權數為各個主成分的貢獻率，反映了該主成分包含原始數據的信息量占全部信息量的比重，這樣確定地權數比較客觀、合理，克服了某些評價方法中人為確定權數的缺陷。

（4）主成分分析的計算方法比較規范，便于在計算機上實現。

主成分分析方法的不足主要體現在兩個方面：

（1）所得到的主成分實際含義模糊，沒有原始數據的含義確切、清楚。

（2）主成分分析方法只考慮了數據的二階統計量（自相關），這對于高斯分布是足夠的，但對于非高斯分布，由于高級統計量中含有附加的信息，因此PCA對其表示不夠充分。

PCA方法算法比較簡單，且具有一定的局限性。因此，越來越多的研究都集中在PCA和其它方法如LDA、K-means方法、核函數、SVM、粗糙集、專家模型、GMM等方法相結合的應用，并取得了很好的效果。

4 主成分分析的應用（Application of PCA）

主成分分析主要應用是評價排序、特征提取、圖像處理、圖像分類、模式識別、圖像壓縮等方面。下面將綜述PCA的主要應用范例。

（1）評價排序

現實生活中人們經常要對事物進行評價和排序，但事物本身往往是由多元數據構成，且數據之間具有某些內在的聯系。使用PCA進行數據處理，可以去除數據之間的相關性，又減少了工作量。在文獻[6]中，作者介紹了一種基于PCA的教學質量評價方法，該方法消除了文中所確定的16個教學質量評價指標之間的相關性，將原來的16個指標簡化為5個主成分，對這5個主成分的載荷進行分析，進而評價課堂教學質量。實驗結果證明，主成分分析所得的結果與實際資料反映的情況相符，詳細內容見參考文獻[6]。

現在，越來越多的基于PCA的評價方法正不斷地應用于各個領域，比如文化符號歸因分析、軟件質量評價、性能評估、可持續發展評價、城市交通擁擠評價、風險評價等。這些方法中，PCA都被用于降低維數并去除數據之間的相關性。評價指標的選取、層次權重如何分配是此類問題的研究重點。隨著大數據時代到來，PCA在該領域將會有更加廣泛的應用。

（2）特征提取

在特征提取領域應用最為廣泛、提取特征效果較好的就是PCA方法。該方法提取了事物的主要特征元素，同時達到了降維的目的，簡化了復雜模型。在文獻[7]中，作者提出了一種基于多重組合特征提取算法（PCA-CFEA）的文本分類方法，首先用正交變換將文本空間降維，再通過多重組合特征提取算法在降維后的特征空間快速提取代表性強的特征項，過濾掉那些代表性弱的特征項，隨后使用SVM分類器對文本進行分類，詳細內容見參考文獻[7]。

使用PCA進行特征提取已經成為該領域的熱點問題之一。目前，很多基于PCA的特征提方法僅提取了事物的某些特征，根據提取的特征對事物進行檢索和分類，則是該領域的應用要深入研究的內容。

（3）模式識別

模式識別是PCA的一個重要應用。由于高維數據對模式識別是不利的，解決這一問題的方法就是降維。以人臉識別為例，數據源是M幅不同的人臉圖像，可使用PCA方法提取出人臉的內部結構特征，即所謂“模式”[8]。當有新的圖像需要識別，只需要在主成分空間對該圖像進行分析，就可得到新圖像與原人臉圖像集的相似度差異，從而實現人臉識別。在文獻[8]中，作者提出一種方法，將PCA和LDA方法相結合進行性別鑒別。

隨著“互聯網+”的到來和可穿戴電子設備的普及，越來越多的人習慣于快捷交易、快捷支付，而這都有賴于身份認證，比如人臉識別、指紋識別。在此應用領域，PCA因為其降維的特點，將會有更加廣泛的應用。但由于同一人臉會因為光照、表情和姿態不同而有較大的差異，因此，如何克服光照的影響以及由于表情和姿態不同造成的差異，是該類方法需要深入研究的問題。

（4）圖像處理

PCA在圖像邊緣檢測、圖像融合等方面被廣泛應用。在文獻[9]中，作者提出一種基于多專家的PCA邊緣檢測模型，該方法將一個邊緣檢測法視為一個專家，首先采用Sobel算子、Canny算子等五種算子建立統計模型，然后利用PCA方法對五個專家的檢測結果進行分析，最后利用提出的多個專家的檢測模型融合多個專家的檢測信息，得到綜合的檢測結果，實驗結果證明，該方法可以獲得很好的邊緣檢測結果，詳細內容見參考文獻[9]。在文獻[10]中，作者提出一種基于PCA和總方差模型的圖像融合框架，首先用PCA對源圖像處理，根據提取的前幾個主成分重建圖像，再經下采樣過程得到近似圖像，然后通過上采樣得到細節圖像，最后將近似圖像和各個細節圖像累加，完成圖像重構，將該框架納入總方差模型后形成一種新的框架。實驗結果證明，該方法不僅可以獲得較好的融合效果，還可去噪，而且能夠保持全色圖像和多光譜圖像的光譜信息和空間信息，詳細內容見參考文獻[10]。

PCA是圖像處理領域中很有研究價值的成果之一。由于PCA具有降維的特性，而圖像本身又是多維數據，因此PCA在圖像處理領域有著非常廣泛的應用。鑒于PCA本身的局限性，在這些應用中，需要將PCA和其他的方法相互結合。

（5）圖像分類

圖像的顏色使圖像的主要特征之一。我們曾采用PCA和LDA進行了對衛星遙感圖像進行分類，首先獲得圖像的PCA顏色特征子空間，計算圖像的LDA顏色特征子空間，將PCA算法和LDA算法的特征空間相融合，將原始衛星圖像投影到PCA-LDA算法的融合顏色特征空間中，進行圖像分類。該方法去除了圖像的R、G、B間的相關性，去掉了原始圖像中大量冗余信息，改善了光照敏感性，在該方法中了采用基于區域分類的空間一致性原則來合并空間信息。實驗表明，該方法能高效的描述衛星圖像的顏色特征，分類準確度高，詳細內容見參考文獻[11]。在文獻[12]中，作者提出一種基于PCA和GMM的圖像分類算法。

圖像分類會使用分類器，通常使用的分類器有Euclid Distance法、Maximum Likelihood法和K均值聚類算法（K-means），前兩個屬于監督分類法，后者屬于非監督分類法，是一種動態聚類方法算法。如何選取合適的分類器，并在分類算法中結合圖像的其他信息比如的紋理信息來提高分類效果，對圖像分類方法深入研究近一步提出基于圖像特征的圖像檢索方法，是基于PCA的圖像分類算法需要深入探討的問題。

（6）圖像壓縮

PCA的另一個廣泛應用是圖像壓縮。假設有20幅圖像，使用PCA方法處理該圖像集，將得到20個特征向量，提取其中15個主成分。使用這15個特征向量進行圖像復原變換，就得到一個只有15維的數據。數據維數從原來的20降到了15，圖像壓縮了四分之一。該方法是一種有損壓縮，但保持了原始圖像中最“重要”的信息，是一種非常重要且有效的方法[5]。

6 結論（Conclusion）

主成分分析的應用范圍非常廣泛，經常和分類、聚類算法及與其他方法連用進行數據處理。其最大優勢就是對原有數據進行簡化，去除了噪音和冗余，對數據進行降維處理，揭示隱藏在復雜數據背后的簡單結構。當然PCA方法也存在一定的不足，為了得到更好的效果，需要對PCA進一步深入研究，結合其他算法對PCA進行改進。相信隨著PCA為越來越多的人所認知，該方法會得到更加廣泛的應用。

參考文獻（References）

[1] M.P.Dubuisson-Jolly & A.Gupta.Color and Texture Fusion： Application to Image Segmentation and GIS Updating[J].Image and Vision Computing，2012（18）：823-831.

[2] Kwitt.R.Meerwald & Uhl.A.Lightweight detection of additive watermarking in the DWT domain[J].IEEE Transactions on Image Processing，2013（2）：474-484.

[3] Luo.M & Bors.A.G.Principal Component Analysis of spectral coefficients for mesh watermarking[J].Signal Processing，2011 （9）：625-634.

[4] 魯晨.主元分析（PCA）理論分析及應用[J].圖像處理學報，2007 （8）：38-41.

[5] 高琪.主成分分析方法在圖像處理中的應用[J].計算機學報， 2011（3）：98-100.

[6] 李宏明.基于多元統計分析的地方高校課堂教學質量評價[J]. 臺州學院學報，2010，32（3）：77-80.

[7] 李建林.一種基于PCA的組合特性提取文本分類方法[J].計算 機應用研究，2011（8）：2399-2401.

[8] 何國輝，甘俊英.PCA-LDA算法在性別鑒別中的作用[J].計算 機工程，2006，32（19）：208-210.

[9] 李建軍，韋志輝，張正軍.多專家的PCA邊緣檢測模型[J].哈爾 濱工業大學學報，2012，44（12）：92-95.

[10] 潘瑜，等.基于PCA和總方差模型的圖像融合框架[J].計算機 輔助設計與圖形學學報，2011，23（7）：1200-1210.

[11] 趙薔，等.一種基于PCA-LDA的衛星遙感圖像的分類方法 [J].計算機應用與軟件，2013，30（2）：198-204.

[12] 肖政宏，等.基于PCA和GMM的圖像分類算法[J].計算機工 程與設計，2009（5）：93-107.