一種新的有監督的局部保持典型相關分析算法

一種新的有監督的局部保持典型相關分析算法*

潘榮華,陳秀宏,曹翔

(江南大學數字媒體學院，江蘇 無錫 214122)

摘要：從模式識別的角度出發，在局部保持典型相關分析的基礎上，提出一種有監督的局部保持典型相關分析算法(SALPCCA)。該方法在構造樣本近鄰圖時將樣本的類別信息考慮在內, 由樣本間的距離度量確定權重，建立樣本間的多重權重相關，通過使同類內的成對樣本及其近鄰間的權重相關性最大，從而能夠在利用樣本的類別信息的同時，也能保持數據的局部結構信息。此外，為了能夠更好地提取樣本的非線性信息，將特征集映射到核特征空間，又提出一種核化的SALPCCA(KSALPCCA)算法。在ORL、Yale、AR等人臉數據庫上的實驗結果表明，該方法較其他的傳統典型相關分析方法有著更好的識別效果。

關鍵詞：局部保持;典型相關分析(CCA);特征提取;人臉識別

中圖分類號：TP391.4 文獻標志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.021

收稿日期：*2014-02-27;修回日期：2014-06-11

基金項目：國家自然科學基金資助項目 (61373055)

作者簡介:

通信地址：214122 江蘇省無錫市江南大學數字媒體學院

Address:School of Digital Media,Jiangnan University,Wuxi 214122,Jiangsu,P.R.China

Anewsupervisedlocalitypreservingcanonicalcorrelationanalysisalgorithm

PANRong-hua,CHENXiu-hong，CAOXiang

(SchoolofDigitalMedia,JiangnanUniversity,Wuxi214122,China)

Abstract:From the angle of model recognition, based on Canonical Correlation Analysis (CCA) we propose a new supervised locality preserving canonical correlation analysis (SALPCCA) based on the ALPCCA. By leveraging the useful information of class label, we can expediently construct the nearest neighbor graph and build multi-weighted correlation between samples. Through maximizing the weighted correlation between corresponding samples and their near neighbors belonging to the same classes, the SALPCCA effectively utilizes the class label information and preserves the local manifold structure of the data. Besides, we also propose a kernel SALPCCA (KSALPCCA) based on the kernel methods to better extract the nonlinear features of the data. The experimental results on the face databases of ORL, Yale and AR show that the proposed algorithm has better performance compared with the traditional canonical correlation analysis methods.

Keywords:localitypreserving;canonicalcorrelationanalysis(CCA);featureextraction;facerecognition

1引言

在傳統的模式分類問題中，通常能獲得一組目標的一組數據來進行分類并做出最終的決策，該組數據形成了被稱之為單模的原始特征數據，而從一組目標中獲得的多組數據則形成了稱之為多模的原始特征數據。近年來，典型相關分析CCA(CanonicalCorrelationAnalysis)[1]作為一種多模的特征提取方法，受到了越來越多的重視和關注。SunQuan-sen等人在文獻[2]中對此進行了分析與研究，通過單模數據建立多模數據，使得CCA在人臉識別等領域的應用成為可能。CCA通過最大化兩組成對樣本之間的相關性從而得到兩組典型相關特征，成功解決了模式識別領域的相關問題。CCA是一種全局的線性特征提取方法，由于全局的線性特征提取方法無法有效地提取非線性特征，因此采用這種方法進行非線性學習時，必然會導致欠學習的問題。為了解決這一問題，人們將核方法(KernelMethod)[3,4]應用于CCA，提出了KCCA(KernelCCA)[5,6]，它是通過隱式的非線性映射將兩組數據分別映射到高維空間，從而能夠將低維空間中的非線性問題映射成高維空間中的線性問題，再利用核技巧在高維空間中進行CCA計算，因此該方法能夠有效地提取人臉的非線性特征，可以更好地解決人臉識別中的非線性問題。然而，CCA和KCCA同樣都沒有利用訓練樣本的類別信息，均是無監督學習。為了充分利用樣本的類別信息，判別型典型相關分析DCCA(DiscriminantCCA)[7]被提出，它充分考慮了同類樣本與不同類樣本之間的相關關系，在實現內類差別最小的同時使得類間的差別最大，類別信息的引入使得DCCA算法相比CCA算法有著更好的識別效果。廣義典型相關分析GCCA(GeneralizedCCA)[8]，則是將最小化類內散布矩陣作為類信息的同時加入了監督信息，在一定程度上提高了算法的分類識別性能。以上方法只考慮了數據的全局性質，并沒有考慮樣本數據的局部流形信息。子模式典型相關分析SpCCA(Sub-patternCCA)[9]將局部特征與全局特征的相關性作為判據，達到了融合局部和全局信息的雙重效果，同時通過子模式的劃分，不僅有效地解決了小樣本問題，并較好地描述了人臉識別中的非線性問題。局部保持投影LPP(LocalityPreservingProjections)[10]既提取了樣本的特征又保持了樣本的局部流形結構，因而具有一些常用流形學習方法的共同優點。局部保持典型相關分析LPCCA(LocalityPreservingCCA)[11]是將局部保持投影的思想引入到CCA，以近鄰樣本之間的相關取代了全局樣本之間的相關，有效地通過線性方式解決了非線性問題，但是LPCCA仍屬于無監督學習，文獻[12]通過引入監督信息對LPCCA做了一定的改進。

為了更好地挖掘樣本局部結構的多樣性特征，WangFeng-shan等人[13]提出了一種新的局部保持典型相關分析算法(ALPCCA)，它將局部鄰域信息融合到CCA中，在高維人臉識別中有著更好的分類效果。但是，ALPCCA也屬于無監督學習，為了在保持局部流形結構的同時加入有利于分類的鑒別信息，本文提出了一種有監督的局部保持典型相關分析算法SALPCCA(SupervisedALPCCA)。本文算法在構造樣本近鄰圖時將樣本的類別信息考慮在內，避免算法將非同類樣本中的相關信息錯誤地引入，影響最后投影特征的提取。由樣本間的距離度量確定權重，建立樣本間的多重權重關系，能夠增強算法對非典型樣本的魯棒性。利用核方法，在核特征空間中提取樣本的非線性特征，提出KSALPCCA(KernelSALPCCA)算法，進一步提高算法解決非線性問題的能力。

2典型相關分析及其相關算法

2.1典型相關分析

(1)

這里，E表示期望，Sxx和Syy分別表示x和y的協方差矩陣，Sxy表示x和y之間的互協方差矩陣。

2．2判別型典型相關分析

判別型典型相關分析(DCCA)是在傳統的典型相關分析的基礎上，充分考慮了同類樣本和不同類樣本之間的相關性及其對分類的影響，它所提取的特征在實現最大化同類樣本之間相關性的同時最小化不同類樣本之間的相關性，有利于模式分類。

設X與Y為兩組特征集，本文均將其表示成矩陣的形式。x∈X?Rp和y∈Y?Rq分別為其中的兩個特征矢量，DCCA的鑒別準則可以表示為:

(2)

2．3核典型相關分析

(3)

2．4一種最新的局部保持典型相關分析

局部保持典型相關分析(LPCCA)在高維數據上的鑒別能力并不理想，從而在一定程度上限制其在人臉識別中的應用。與LPCCA不同，一種新的局部保持典型相關分析(ALPCCA)直接對最原始的CCA的目標函數改進得到，其鑒別準則表示如下:

(4)

其中：

X(I+Sx+Sy)YT

其中,X與Y是兩個樣本集的矩陣形式，協方差矩陣Cxx和Cyy的定義與CCA中相同；NE(xi)為樣本xi∈X的k近鄰集，NE(yi)類似；Sx和Sy為相似矩陣，tx與ty為兩個可調整的參數，其與LPCCA中的含義相同。I為單位矩陣。

在ALPCCA算法中，當Sx和Sy的所有元素都為零時，ALPCCA就等價于CCA，所以ALPCCA算法是通過額外地加入近鄰樣本的相關性在CCA中植入了鄰域信息；而在LPCCA算法中，當Sx和Sy的所有元素均為1時，即將所有的元素都加入鄰域，此時LPCCA等價于CCA，所以LPCCA是通過去除非近鄰樣本的相關性而在CCA中植入鄰域信息，因此LPCCA算法的性能在很大程度上依賴于相似矩陣的計算。然而，在人臉識別問題中，樣本的維數往往都很高，相似矩陣Sx和Sy很難估算準確，這在一定程度上影響了LPCCA算法的識別效果。而ALPCCA算法同時使用了局部鄰域信息和協方差矩陣，從而能夠很好地緩解由相似矩陣計算的不精確所造成的影響，使得該方法比LPCCA有著更好的識別效果。

3有監督的局部保持典型相關分析

3．1有監督的ALPCCA算法

ALPCCA相比LPCCA有著明顯的優勢，但與一些有監督的算法如DCCA相比，識別效果卻明顯不足。究其原因是因為ALPCCA在選取近鄰時沒有考慮樣本的類別信息，因而很可能引入不同類別樣本中的錯誤相關信息，從而導致錯誤的分類，分類環境越是復雜，這種情況越為明顯。因此，本文將樣本的類別信息引入ALPCCA，試圖提出一種有監督的局部保持典型相關分析算法。

DCCA是在CCA的基礎上考慮樣本的類別信息，使得同類中的所有樣本之間建立相關性，是一種有監督算法。但是，DCCA認為同類樣本之間的相關性相等，而一般情況下，同類樣本之間的相關性會隨著樣本之間距離的變化而有所不同，樣本間的距離越小，相關性越大，反之，相關性則越小，因此DCCA不能很好地描述一些非線性問題。而ALPCCA充分利用了樣本的局部鄰域信息，考慮了樣本之間的距離與相關性的關系，能夠較好地描述一些非線性問題，但卻沒有利用樣本的類別信息，是一種無監督算法。因此，結合DCCA和ALPCCA各自的優勢，綜合考慮樣本的局部鄰域信息與類別信息，在樣本的同類內建立鄰域權重相關，提出一種有監督的局部保持典型相關分析(SALPCCA)，從根本上消除了ALPCCA算法在不同類樣本間建立錯誤的相關對分類造成的影響，使得從樣本中提取的特征更為有效，更有利于最后的分類。同時，SALPCCA以近鄰間的權重相關取代了DCCA中同等視之的類內相關，并且以距離作為權重度量的依據，從而能夠很好地抑制噪聲對算法穩定性的影響，增強了算法的魯棒性。本文算法具體描述如下。

(5)

其中，c(xi)表示xi的類別。

(6)

其次，讓樣本集X中的樣本及其近鄰樣本與樣本集Y中相應的樣本及其近鄰樣本建立權重相關。于是，SALPCCA的鑒別準則可以表示為:

(7)

其中,

XJYYT=X(I+JX+JY)YT

上述準則亦可表示為以下優化模型:

(8)

利用Lagrangian方法可以將上述優化問題轉化為如下的廣義特征值分解問題：

(9)

利用特征矩陣Wx和Wy通過以下兩種特征提取策略進行特征提取：

(10)

(11)

由此可以得到兩種不同的融合特征。兩種特征融合策略用FS1和FS2表示，分別對應于式(10)和式(11)中的兩種組合方式。

最后，分類策略采用基于特征矩陣的最近鄰分類器進行分類。

綜上所述，SALPCCA的算法求解步驟如下：

步驟1輸入已標準化的訓練樣本集X及其對應的樣本集Y。

步驟2按照式(5)和式(6)式的方法構造X和Y的類內k近鄰矩陣JX和JY。

步驟3根據式(9)式計算投影矩陣Wx和Wy。

步驟4利用式(10)和式(11)式分別進行特征提取，并采用最近鄰分類器進行分類。

3．2核化的SALPCCA算法

為了更好地提取樣本的非線性特征，利用核方法，將SALPCCA進行推廣得到核SALPCCA算法(KSALPCCA)。KSALPCCA不僅利用樣本的類內近鄰信息將全局非線性問題轉化為若干局部線性問題，有效地解決了人臉識別中的全局非線性問題，同時通過利用核技巧能夠更有效地提升算法處理非線性問題的能力。因而，本文的算法能有效地刻畫人臉識別中的非線性問題，可以提取到鑒別性更強和更能反映樣本分布情況的投影軸，具有更好的識別效果。

(12)

采用上節中類似的方法可以求得投影矩陣:

進一步可以得到:

最后做類似于式(10)和式(11)的特征融合，并采用最近鄰分類器進行分類。

Figure 1　Sample images from the face database ORL,Yale,AR,respectively 圖1　ORL、Yale、AR部分人臉示例圖像

4實驗與結果分析

4．1人臉庫

為驗證SALPCCA、KSALPCCA算法的有效性，分別在ORL、Yale、AR三個人臉數據庫中進行仿真實驗，并與SLPCCA、ALPCCA、LPCCA以及DCCA等算法進行比較。

ORL人臉數據庫[14]包括了40個人的人臉圖像，每人10幅圖像，分別拍攝于不同的時間和光照條件下，具有不同的表情和面部細節。本文實驗中隨機選取每個人的5幅圖像作為訓練樣本空間X，剩余部分用作測試。利用原圖像四級小波分解后的低頻分量作為Y。

Yale人臉數據庫[15]包含15個人的人臉圖像，每人11幅，包括光照方向(左、右和正面)、眼睛、表情變化(正常、愉快、悲傷、困乏、驚訝和眨眼)共165幅灰度圖像，圖像尺寸為120×91像素。每人選取5幅圖像作為訓練樣本空間X，其余6幅作測試。同樣對原圖像進行四級小波分解的低頻分量作為Y。

AR人臉數據庫[16]由126個人(男70人，女56人)的4 000余幅彩色圖像構成，每人26幅圖像，每幅圖像的大小為50×40像素，分為兩組，每組13幅，拍攝時間間隔為兩周，分別反映了人臉的表情、光照和遮擋的變化。本實驗中，選擇AR人臉庫中的前120個人標號為1～7、14～20的14幅沒有遮擋的圖像進行人臉識別實驗，并隨機選取每人的5幅圖像作為訓練樣本空間X，其余作測試。對原圖像進行三級小波分解的低頻分量作為Y。

4．2實驗結果

實驗中統一采用Daubechies正交小波對原圖像進行分解以獲取低頻分量，然后利用主成分分析PCA(PrincipalComponentAnalysis)對樣本進行降維以解決小樣本問題。近鄰數目統一設定為訓練樣本數減1。算法中的核函數選擇高斯核函數，X與Y特征集中的核參數σx與σy為標量，其數值在103左右通過交叉驗證來確定。傳統的PCA與LDA算法通過直接串聯后提取特征進行實驗。在每個人臉庫中分別隨機地進行10次獨立實驗，實驗結果見表1～表3。

從表1～表3的實驗結果可以看出，本文算法在三個人臉庫中的識別率都要高于其他相關算法。

Table 1　 Average recognition accuracy of different algorithms on ORL face database

Table 2　 Average recognition accuracy of different algorithms on Yale face database

Table 3　 Average recognition accuracy of different algorithms on AR face database

有監督算法SLPCCA、SALPCCA的識別率均要高于其相對應的無監督算法LPCCA、ALPCCA，可見類別信息的引入消除了不同類樣本間建立錯誤的相關對分類問題造成的影響，提高了算法的識別效果。在DCCA、SLPCCA和SALPCCA三種有監督算法中，SALPCCA算法的識別率在三個人臉數據庫中均高于其他兩種算法，這也體現了本文算法同時考慮類內鄰域信息和協方差矩陣的優勢。KSALPCCA算法的識別率普遍都要高于SALPCCA，可見核化之后的算法更有效地提取了樣本的非線性信息，對識別率有一定的提高。由表2可見，由于Yale人臉庫中圖像數據較少，KSALPCCA也很難提取到更多有利于鑒別的信息，因此KSALPCCA與SALPCCA的識別率相差不大。另外，在ORL人臉庫中，由于該數據庫中同類別的人臉變化相對不大，因此LPCCA也取得了相對不錯的識別率；而在Yale和AR人臉庫上，人臉的變化相對較為復雜，LPCCA很難獲得較理想的識別率。對比兩種特征融合策略可以發現，一般情況下，FS2特征融合策略的識別效果都優于FS1。

圖2給出了三個人臉庫中各個算法的平均識別率隨特征維數變化的趨勢，由于PCA和LDA與其他算法結果差距較大，因此為了增強圖表的可讀性它們不在圖表中顯示。同時為了統一比較，以下實驗均采用FS2的特征融合方式。

Figure 2　Variation of the average recognition rates along with dimensionality on ORL,Yale,AR face databases 圖2　六種算法在三個人臉數據庫上的 平均識別率隨維數變化的示意圖

從圖2a可以看出，隨著特征維數的增加，各個算法的識別率都有所上升，當特征維數增加到一定程度時，識別率會保持在一個相對穩定的水平。觀察圖2b可以發現，由于DCCA算法受樣本類別總數的限制，其最大特征維數只能取到15，這在一定程度上限制了算法的性能，因此其識別效果不如SLPCCA和SALPCCA算法。在圖2b和圖2c中，識別率先隨著特征維數的增加而上升，當識別率達到峰值時，一些算法的識別率會隨著特征維數的增加反而有所下降，尤其是LPCCA下降的最為明顯，由于其最初提出的目的并不是針對模式分類問題，因此它受維數變化的影響較大且識別效果不理想。但是，本文的算法同時考慮了樣本的類內近鄰權重相關信息和協方差矩陣，保持了樣本的局部流形信息，使得SALPCCA的高維特征中包含了較少的噪聲信息，同時核化后的KSALPCCA進一步提升了算法處理非線性問題的能力，因此識別率會隨著維數的增加而保持在一個相對較高、較穩定狀態。

為了證明本文算法對近鄰數k選擇的魯棒性，統一在人臉數據較為豐富的Yale和AR人臉數據庫中進行對比實驗。實驗結果如圖3所示。

觀察圖3的兩幅圖可以發現，LPCCA算法的識別率隨著k的變化波動很大，對近鄰數k的選擇很敏感。而ALPCCA算法由于其同時考慮了局部鄰域信息和協方差矩陣，因此受近鄰數的影響并不大，這也體現了ALPCCA算法相對于LPCCA算法的優勢。有監督的SLPCCA和SALPCCA算法則表現得更為穩定，可見類別信息的引入，從根本上避免了算法在不同類樣本間建立錯誤的相關，有效地提升了算法的性能，增強了算法的魯棒性。再仔細觀察SALPCCA與ALPCCA算法不難發現，SALPCCA算法在識別率和對k選擇的魯棒性上都要優于ALPCCA算法，這也證明了本文算法的有效性。

Figure 3　Classification accuracy versus different values of the number of neighbors k in LPCCA, ALPCCA, SLPCCA and SALPCCA on Yale and AR databases 圖3　LPCCA,ALPCCA,SLPCCA和SALPCCA 四種算法在Yale和AR兩個人臉數據庫上的 平均識別率隨近鄰數k變化的示意圖

5結束語

本文以ALPCCA為基礎，在考慮樣本的類別信息的同時引入近鄰樣本間權重相關的概念，通過使類內的成對樣本與其近鄰樣本的權重相關性最大，提出了一種有監督的局部保持典型相關分析(SALPCCA)算法，并利用核方法進行核化，提出核化的有監督局部保持典型相關分析(KSALPCCA)。在ORL、Yale、AR人臉庫上的實驗結果表明，本文的算法相比ALPCCA、SLPCCA、LPCCA以及其他算法有著更好的識別效果和魯棒性。

參考文獻:

[1]HotellingH.Relationsbetweentwosetsofvariates[J].Biometrika, 1936, 28(3):321-377.

[2]SunQuan-sen,ZengSheng-gen,LiuYan,etal.Anewmethodoffeaturefusionanditsapplicationinimagerecognition[J].PatternRecognition, 2005, 38(12):2437-2448.

[3]BoserBE,GuyonIM,VapnikVN.Atrainingalgorithmforoptionalmarginclassifiers[C]//Procofthe5thAnnualACMWorkshoponComputationalLearningTheory, 1992:1.

[4]NelloC,JohnST.Supportvectormachinesandotherkernelbasedmethods[M].Cambrige:CambrigeUniversityPress,2000.

[5]LaiPL,FyfeC.Kernelandnonlinearcanonicalcorrelationanalysis[J].InternationalJournalofNeuralSystems, 2000,10(5):365-377.

[6]MelzerT,ReiterM,BischofH.Appearancemodelsbasedonkernelcanonicalcorrelationanalysis[J].PatternRecogniton,2003,36(9):1961-1971.

[7]SunTing-kai,ChenSong-can,YangJing-yu,etal.Asupervisedcombinedfeatureextractionmethodforrecognition[C]//ProcoftheIEEEInternationalConferenceonDataMining, 2008:1043-1048.

[8]SunQuan-sen,LiuZheng-dong,HengPheng-ann,etal.Atheoremonthegeneralizedcanonicalprojectivevectors[J].PatternRecognition, 2005, 38(3):449-452.

[9]HongQuan,ChenSong-can,NiXue-lei.Sub-patterncanonicalcorrelationanalysiswithapplicationinfacerecognition[J].ActaAutomaticaSinica, 2008, 34(1):21-30.(inChinese)

[10]HeXiao-fei,YanShui-cheng,HuYu-xiao,etal.Facerecognitionusinglaplacianfaces[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2005, 27(3):328-340.

[11]SunTing-kai,ChenSong-can.LocalitypreservingCCAwithapplicationstodatavisualizationandposeestimation[J].ImageandVisionComputing, 2007, 25(5):531-543.

[12]HouShu-dong,SunQuan-sen,XiaDe-shen.Supervisedlocalitypreservingcanonicalcorrelationanalysisalgorithm[J].PatternRecognitionandArtificialIntelligence, 2012, 25(1):144-149. (inChinese)

[13]WangFeng-shan,ZhangDao-qiang.Anewlocality-preservingcanonicalcorrelationanalysisalgorithmformulti-viewdimensionalityreduction[J].NeuralProcessLett, 2013, 37(2):135-146.

[14]SamariaFS,HarterAC.Parameterisationofastochasticmodelforhumanfaceidentification[C]//Procofthe2ndIEEEWorkshoponApplicationsofComputerVision, 1994:138-142.

[15]BelhumeurPN,HepanhaJP,KriegmanD,etal.EigenfacesVsFisherfaces:Recognitionusingclassspecificlinearprojection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997, 19(7):711-720.

[16]MartinezA,BenaventeR.TheARfacedatabase[R].TechnicalReport24,Barcelona,Spain:ComputerVisionCenter(CVC), 1998.

參考文獻：附中文

[9]洪泉,陳松燦,倪雪蕾．子模式典型相關分析及其在人臉識別中的應用[J].自動化學報,2008,34(1):21-30.

[12]侯書東,孫權森,夏德深．一種監督的局部保持典型相關分析算法[J].模式識別與人工智能,2012,25(1):144-149.

潘榮華(1989-),男,江蘇吳江人，碩士生，研究方向為數字圖像處理和模式識別。E-mail:prh__@126.com

PANRong-hua,bornin1989,MScandidate,hisresearchinterestsincludeimageprocessing,andpatternrecognition.

陳秀宏(1964-),男,江蘇泰興人，博士，教授，CCF會員(E200017407M)，研究方向為數字圖像處理和模式識別。E-mail:xiuhongc@jiangnan.edu.cn

CHENXiu-hong,bornin1964,PhD,professor,CCFmember(E200017407M)，hisresearchinterestsincludeimageprocessing,andpatternrecognition.

曹翔(1990-),男,江蘇南通人，碩士生，研究方向為數字圖像處理和模式識別。E-mail:540034496@qq.com

CAOXiang,bornin1990,MScandidate,hisresearchinterestsincludeimageprocessing,andpatternrecognition.