主成分分析在模式識別領域中的研究進展

王文杰，石競琛，姜念祖，林帥男，趙 瑞

（吉林師范大學數學與計算機學院，吉林 四平 136000）

0 引言

隨著信息技術的不斷發展，數據生成的速度和規模都呈現出指數增長態勢，這使得數據的類型趨于多樣化，數據結構趨于復雜化，這種現象被稱為維數災難，并且這種現象已經影響到了諸多領域，如人臉識別、圖像壓縮、圖像去噪等.如何通過數據降維來減輕維數災難、減少高維空間中其他不相關的屬性已成為學者們主要的研究方向.

維數災難［1-3］帶來的問題主要表現在以下幾個方面：一是隨著數據維數的增加，高維空間樣本點的分布將會更加稀疏，從而導致過擬合的問題；二是維數增多使樣本遠離中心點，導致邊緣樣本密集過高，無法擬合；三是隨著維數的升高，在高維度空間中距離度量逐漸失去了度量差異性的能力；四是高維數據影響問題處理的效率和準確性，增加數據預處理的難度；五是高維數據的運算與存儲對計算機的要求較高，目前計算機仍不能完全滿足其要求；六是對高維數據處理的方法較少，處理難度較大，增加了計算難度.

上述問題給高維數據分析與處理帶來了較大的困難，嚴重制約了數據挖掘算法的高效性，而維數約簡技術是解決這一難題的有力工具，它主要包括特征選擇技術和特征提取技術兩大類.特征選擇是從數據集中去除不相關和冗余的信息以獲得最優的特征子集［4］.由于特征選擇通常會采用搜索算法，所以特征選擇中最優特征子集的搜索速度和精度存在一定的問題.而特征提取是利用現有的特征參數組成一個低維的特征空間，將原始特征包含的有用信息映射成少量的特征，忽略冗余和不相關的信息［5］.所以特征提取可以很好地避免信息冗余、數據維數過高等問題.目前，研究者們已經提出了多種有關特征提取的降維方法，基于線性的特征提取方法有主成分分析和線性判別分析（LDA），而基于非線性特征提取方法主要包括局部線性嵌入（LLE）、等距離映射（Lsomap）、擴散映射（Diffusion Map）、多維尺度變換（MDS）、局部切空間排列（LTSA）、核主成分分析（KPCA）等.多種特征提取技術中最常用的算法無疑是PCA，由于其具有降維精度高、信息損失量小、應用范圍廣等特點而得到廣泛應用.本文綜述了近五年主成分分析算法在人臉識別、圖像壓縮和圖像去噪等模式識別領域中的最新研究進展，分析了其技術特色和應用范圍.

1 主成分分析

主成分分析［6-9］是20 世紀初引入用于探索多元數據分析中最流行的方法之一，并隨著時間的推移逐漸走向成熟，它的主要思想是將n維特征映射到k維上（k＜n），而這k維特征是在原有的基礎上重新構造出來的，我們也稱這k維特征為主成分.

1.1 主成分分析方法的求解步驟

PCA 具體的求解步驟如圖1所示.PCA 降維的過程是通過計算樣本集的協方差矩陣，得到協方差矩陣的特征值和特征向量，選擇其中特征值最大的k個特征所對應的特征向量組成特征向量矩陣，將原有的樣本數據轉化到新的空間中，從而實現對數據特征的降維.它的目標是通過某種線性投影，將高維的數據映射到低維的空間中，并期望在所投影的維度上數據的方差最大，以便使用較少的數據維度，同時保留住較多的原數據點的特性.

圖1 PCA算法求解步驟

1.2 主成分分析方法的特點

PCA 算法的主要優點表現在：PCA 是無監督學習，完全沒有參數的限制，在計算過程中不需要人為地設定參數；PCA 技術可以對數據進行降維，從而達到簡化模型的效果，同時最大程度地保持了原有數據的信息；PCA 降維后的主成分之間相互正交，可抵消原始數據成分間的相互影響；PCA 算法計算方法簡單，在計算機上便于實現.

PCA算法的主要缺點表現在：雖然用戶掌握了一些關于觀測對象的數據的特征，但卻無法通過參數化等方法對處理過程進行干預，使用PCA 算法可能得不到預期的效果，效率也不高；貢獻率小的主成分可能含有對樣本有重大影響的重要信息，但在使用PCA 算法時往往會忽略貢獻率小的主成分；特征值矩陣的正交向量空間是否唯一有待討論.

2 主成分分析在模式識別中的應用

模式是對客觀事物的一種抽象化的概括和定理化的描述，而模式識別則是在某些觀測基礎上把待識別模式劃分到各自的模式中.模式識別可以和很多人工智能技術和算法相結合，其中主成分分析在模式識別領域中主要應用于人臉識別、圖像壓縮和圖像去噪等方面.

2.1 人臉識別

2.1.1 人臉識別簡介

人臉識別［10-12］的研究起始于20 世紀60 年代，在過去的幾十年內，人臉識別一直是一個十分活躍的研究領域.近幾年，人臉識別技術的研究更是取得了巨大的進展，獲得了計算機視覺、機器學習和人工智能等多個領域的研究關注.目前，人臉識別技術已經在社會上得到了廣泛的應用，具體來說，人機交互、身份驗證、安全監測、刑事案件偵破和金融行業等都應用到了人臉識別技術.廣義的人臉識別包括人臉檢測、身份識別和圖像預處理等.目前，PCA在人臉識別中的應用已經逐漸成熟，具體流程如圖2所示.

圖2 PCA在人臉識別中應用流程

2.1.2 PCA在人臉識別中的應用

在將PCA應用于人臉識別的過程中，一般都是直接應用PCA技術對人臉圖像進行降維［13-17］.具體方法就是先將數據集中的每一個人臉圖像轉化為一個向量V，以此對訓練集T進行更新，得到T={V1，V2，V3，…，VN}，之后再計算平均臉向量，用原始的人臉圖像向量減去平均臉向量后計算出協方差矩陣，得到降維后的面部特征向量，最終獲得降維后的人臉圖像數據.

與直接應用PCA 技術不同，一些研究者對PCA 算法進行了改進.2018 年，Seghouane 等［18］提出的新方法是在進行PCA 降維時用單位矩陣代替一維協方差矩陣，這樣完美地解決了行作為潛在的隨機向量的問題.他們在Yale-B data 數據集上的實驗驗證了新提出的方法的性能.2019年Rathika等［19］和2020年Zhang 等［20］在應用PCA 時都首先對原始的圖像數據進行均值歸一化，即從數據的每個值中減去平均維度值，每個維度的平均值為零.然后再求出平均臉向量，用原始的人臉圖像向量減去平均臉向量，計算出協方差矩陣，最后利用它們得到降維后的人臉圖像數據.2019 年，Xue 等［21］提出了一種新的RPCA 模型，新模型用于補全原始PCA方法降維時主成分大量損壞或缺失的情況.相比于PCA，新提出的RPCA 考慮了邊的信息，即使存在缺失值也可以很好地完成人臉識別的任務.2021年，Arora等［22］提出了一種可以區分人臉不同情緒的自動面部情緒識別方法.該方法利用PCA 技術將面部特征提取為一組特定的特征描述，稱為特征臉.該方法處理的過程是先將圖像的每個矩陣與對應的圖像向量i進行歸一化，在除去共同的面部特征后，用求出的矩陣的協方差來評估面部表情的特征向量，從而實現降維的目的.

另外，還有一些研究者將PCA 算法與已有的模型和算法相結合實現人臉識別.2020 年，Alahmadi等［23］提出了一種將神經網絡和PCA 完美結合的人臉識別方法.其中，PCA 用于學習卷積層的濾波器組，通過無監督學習的方式計算出人臉數據的L個特征映射的值，再將這些特征映射與L個濾波器進行卷積，最終得到降維后的人臉圖像數據.2022 年，Yadav 等［24］提出了一種新的PCA-SVM 模型.PCA-ANN［25］和PCA-SVM 是最近出現的兩種功能強大的人臉分析技術，相比于PCA-ANN，PCA-SVM 的優點是在人臉檢測中需要的參數更少，識別精度更高.但PCA-SVM 在光線差、頭發長或物體遮擋面部的情況下，對人臉的檢測是無效和低效的.新提出的PCA-SVM 模型不僅保留了原模型的優點，還解決了原模型存在的問題，增強了識別的精度.同年，Dutta 等［26］提出了一種將PCA、ICA 和神經網絡相結合的用于3D 人臉識別的新方法.與文獻［23］不同，Dutta等使用PCA 和ICA 濾波器融合而成的新濾波器組，而新的濾波器是通過WPCA和WICA的數據級融合產生的.

2.1.3 2D-PCA在人臉識別中的應用

2018 年，Gao 等［27］提出了一種高效的2D-PCA 人臉識別方法，該方法使用2D-PCANet，解決了PCA方法在PCANet中存在的不足.PCANet在使用PCA作為濾波器組時必須將二維矩陣變為一維向量，這樣才能計算協方差矩陣，但2D-PCANet 在計算協方差矩陣時不需要進行向量轉換，大大地提高了計算效率.2019年，Xu等［28］提出了一種新的動態雙向二維主成分分析D（2D）2PCA 方法，與傳統的2D-PCA 方法不同，該方法不僅考慮變量之間的相關性，還考慮變量之間的自相關性.D（2D）2PCA 方法構造一種增廣時間序列矩陣來有效提取變量之間的動態關系，準確描述水下物體的動態行為.2020年，Wang等［29］提出了一種基于Frobenius 范數的高效魯棒方法F-2D-QPCA.該方法的目標是找到投影矩陣，使投影數據基于F 范數的方差最大，并且該方法比2D-PCA 方法和F-2D-PCA 方法具有更強的魯棒性和更高的識別精度.

2.2 圖像壓縮

2.2.1 圖像壓縮簡介

隨著計算機在現代社會中的應用不斷增加，大量的圖片數據需要被持續傳輸，這使得將其存儲在有限的內存中或通過有限的互聯網帶寬進行傳輸變得越來越困難.因此，需要對圖像壓縮技術進行更加深入的研究來應對這些挑戰.同時，這種研究也響應了網絡上高速傳輸數據的要求［30-31］.圖像壓縮是指用盡可能少的數據量表示原數據量，其基本原理是去除其中冗余的數據［32］.在所有圖像壓縮技術中，基于PCA的特征降維方法已經相對成熟，獲得了一定的成果，被廣泛應用到各個領域.

2.2.2 PCA在圖像壓縮中的應用

2018 年，Licciardi 等［33］提出了使用NLPCA 變換方法來降低高光譜圖像數據的光譜維數.與PCA 相比，NLPCA 方法能夠在更低維的空間中以更少的特征表示相同的信息內容.NLPCA 方法首先訓練AANN 進行身份映射，將獲得的主成分（NLPCs）作為輸入數據再重新輸入到解碼層，得到重構的原始數據.最后使用4 個數據集對新提出的NLPCA 方法進行測試.同年6 月，Báscones 等［34］也提出了一種新的圖像壓縮方法用于高光譜圖像的壓縮.該方法首先使用矢量量化和主成分分析（PCA）對圖像進行光譜分解，然后將JPEG2000應用于利用空間相關性進行壓縮的主成分.2020年，Thayammal等［35］同樣提出了一種新的高光譜圖像的壓縮方法，該方法利用PCA 方法時先將相似像素分組在一起，然后將原始數據中的每個向量投影到約簡空間中，并將約簡數據浸入到原始空間，這樣就得到PCA 方法降維后的圖像.2021 年，Xue 等［36］提出一種改進的PCA 算法用于人臉圖像數據的壓縮.傳統的PCA方法在對人臉圖像進行壓縮時，由于樣本數據量過小的問題，很難得到準確的協方差矩陣，而改進后的PCA 算法可以根據投影向量的協方差軌跡來描述投影樣本的離散程度，得到準確的協方差矩陣，從而更好地實現對人臉圖像數據進行壓縮.2022 年，Park 等［37］提出了一種將PCA 應用于多分辨率特征圖像的壓縮方法.該方法主要是利用PCA 變換來消除多分辨率特征圖像映射通道中冗余的數據.利用VCC 編碼器和DeepCABAC網絡對特征向量進行壓縮，最后再經過PCA逆變換重構圖像.2023年，Doorsamy等［38］將PCA用在了醫學圖像壓縮方面，研究如何用PCA 進行X 射線圖像分類、壓縮和預處理.該方法在利用PCA 前先將X射線圖像的顏色成分分成三個分量，然后再利用PCA方法對這些圖像進行降維，用得到的方差稀釋比例PVE來決定整體圖像中每個主成分所包含的數據方差，從而實現對X 射線圖像的壓縮.

2.3 圖像去噪

2.3.1 圖像去噪簡介

圖像去噪［39-41］是指減少數字圖像中噪聲的過程，目前數字圖像采集設備已廣泛應用于醫學、天文學、生物學、國防工業等諸多領域.在惡劣的天氣、光照等條件下采集的圖像日漸增多，再加上各種采集設備固有的物理限制，導致圖像在采集過程中容易出現一些隨機噪聲，給后續的文本檢測、圖像分割、圖像壓縮等圖像處理環節造成不可估計的影響.而所謂的噪聲可以理解為一種阻礙圖像觀測和信息提取過程的基本信號失真，抑制圖像噪聲是圖像分析和處理的基礎，因此，利用圖像去噪技術去除噪聲，從失真圖像中恢復原圖像是非常必要的.

2.3.2 PCA在圖像去噪中的應用

Zhao 等［42］和Singh 等［43］提出基于漸進式主成分分析的圖像去噪方法，其中文獻［42］于2018 年提出了基于聚類的漸進主成分閾值分析，該方法使用漸進式PCA 閾值分割技術對訓練圖像的聚類矩陣進行降噪，并用PCA 變換域進一步去除低秩矩陣的剩余噪聲.不同于文獻［42］，文獻［43］于2022 年10 月提出了一種新的漸進式PCA 方法.該方法主要分為兩個階段，在第一階段將給定的圖像劃分為大小相等或大小不等的分區，創建圖像的不重疊子分區，第二階段將PCA逐步應用于第一階段生成的子集.

與文獻［42］和文獻［43］不同，一些研究者是將PCA 方法和其他方法相結合來進行圖像降噪.2018年，天津電子實驗室的Zhao 等［44］用PCA 方法對高噪聲圖像進行降維處理，然后將降維后的圖像用于SGK 字典學習.2019年，Routray 等［45］提出一種將PCA 算法和Patch Groups（PGs）相結合的圖像去噪算法.這種去噪方法主要包括三個階段，即分組階段、字典學習階段和基于PCA 的去噪階段.在去噪階段，該方法將學習到的PGs 轉換為PCA 域，去除噪聲成分時，只保留了最重要的主成分.2021 年，Berrimi 等［46］提出一種針對退化人臉圖像序列去噪算法.該方法利用PCA 變換實現自適應空間濾波，根據利用PCA算法降維后的特征向量來保留噪聲的強度和計算閾值，并將經過時間濾波的圖像分解為兩個子圖像，從而實現圖像去噪.同年，Jing 等［47］提出一種將LPG 和PCA 相結合的圖像去噪方法.這種方法首先將LPG-PCA方法的輸出用引導濾波器進行濾波，然后用PCA方法對SAR（Synthetic Aperture Radar）圖像進行降維.2022 年，Lu 等［48］提出一種將PCA 和殘差網絡的優點相結合的光學圖像去噪方法.該方法利用PCA對圖像噪聲進行分析，進而建立估計噪聲水平與真實噪聲水平之間的精確映射.映射有助于選擇合適的殘差神經網絡模型進行圖像處理，最大限度地保留圖像信息，減少噪聲的影響.

還有研究者提出了將PCA應用在高光譜圖像的去噪上.2018年，Cao等［49］就利用PCA方法對高光譜圖像進行了去噪，并提出了一種新的RPCA 模型.該模型將噪聲建模和HSI 建模相結合，用于混合噪聲去除.最后再利用PCA 方法求出的協方差矩陣來恢復降噪后的圖像數據.2022 年，Wu 等［50］提出一種新的基于PCA 的高光譜圖像去噪模型——PCA-Tensordecomp，該模型首先利用主成分分析對HSI 信號進行降維處理，得到主復合成分，然后進行低秩CP分解，對含有大量噪聲的第一主成分和其余次要成分進行降噪.最后利用逆PCA對降噪后的HSI進行恢復，達到綜合降噪的效果.

3 總結與展望

伴隨著大數據時代的來臨，數據處理和分析顯得日益重要，如何從高維數據中提取出有用的信息成為當前研究的主要方向，原始的降維方法得到了新的應用.PCA方法可以用于揭示變量和樣本之間的關系，它在模式識別領域主要應用于人臉識別、圖像壓縮和圖像去噪.但PCA方法也存在一定的缺陷，PCA主要應用于線性降維，使用PCA進行線性降維后樣本間的非線性數據有可能會丟失.PCA方法降維后的主成分都是原始變量的線性組合，這就導致PCA 方法不能很好地估計降維后隱變量的數目.為了解決PCA方法潛在的問題，使其具有更強的可用性，一些新的PCA方法開始出現.如：KPCA，SPCA，Dual-PCA，HSIC-PCA 等.在應用方面，PCA 方法也逐漸開始與統計學方法和神經網絡相結合應用于醫學、生物學等，使得各個領域的研究都有了突破性的進展.未來PCA 方法還會給研究者在處理各類問題上提供更多新的思路和方法，產生更多的研究成果.