基于支持向量網(wǎng)絡(luò)和相關(guān)反饋的人臉識別

摘要:采用了一種通過KPCA提取人臉圖像特征，線性SVM對特征進(jìn)行加權(quán)，用最近鄰法分類人臉的識別系統(tǒng)。整個系統(tǒng)實(shí)質(zhì)上構(gòu)成了一個支持向量分類網(wǎng)絡(luò)。為了自動進(jìn)行網(wǎng)絡(luò)訓(xùn)練和參數(shù)尋優(yōu)，提出了一套自動相關(guān)反饋訓(xùn)練方法;并采用了圖像灰度的伽馬校正技術(shù)減少光照變化對識別的影響，提高了分類器的性能。基于ORL數(shù)據(jù)庫的相關(guān)實(shí)驗(yàn)表明，在很少樣本訓(xùn)練條件下，這樣的系統(tǒng)能夠獲得較高性能。

關(guān)鍵詞:人臉識別; 核主成分分析; 支持向量機(jī); 相關(guān)反饋

中圖分類號:TP391文獻(xiàn)標(biāo)志碼:A

文章編號:1001－3695(2008)02－0491－04

人臉識別是模式識別和計算機(jī)視覺領(lǐng)域重要且熱門的研究課題，具有廣闊的應(yīng)用前景。人臉識別是典型的高維數(shù)據(jù)分類問題，利用子空間技術(shù)可以大大降低數(shù)據(jù)的特征維數(shù)，節(jié)省存儲和計算資源。迄今為止已經(jīng)出現(xiàn)了許多有效方法，如線性的主成分分析(PCA)#65380;獨(dú)立成分分析(ICA)#65380;非負(fù)矩陣分解(NMF)#65380;非線性的支持向量機(jī)(SVM)#65380;核主成分分析(KPCA)[1~6]#65380;核非負(fù)矩陣分解(KNMF)[7]等。一般來說，非線性人臉識別方法的性能通常高于線性方法。然而，線性方法通常是無監(jiān)督的，而非線性方法通常需要調(diào)整更多的參數(shù)，具有更多的主觀性。對于具體應(yīng)用而言，線性方法似乎更便捷，因而應(yīng)用更廣泛。本文著重討論很少樣本訓(xùn)練條件下，利用KPCA和SVM算法提取非線性的特征來識別人臉。為了解決參數(shù)調(diào)整不便的困難，提出一種基于相關(guān)反饋的自動參數(shù)調(diào)整方法，并利用一種簡單的重映射技術(shù)減少照明問題影響，能夠提高識別的精度。相關(guān)對比實(shí)驗(yàn)表明，在小樣本訓(xùn)練下，本文提出的系統(tǒng)能夠得到更好的性能。

1基于核方法的非線性特征提取和識別

許多利用機(jī)器學(xué)習(xí)的數(shù)據(jù)分析任務(wù)中，都需要對數(shù)據(jù)進(jìn)行合適的表示或描述。一個有效的數(shù)據(jù)表示能夠使數(shù)據(jù)的內(nèi)在結(jié)構(gòu)更清晰并減少數(shù)據(jù)的維數(shù)，以利于進(jìn)一步計算。PCA#65380;NMF等方法都是線性的，雖然得到廣泛應(yīng)用，但是它們不能揭示數(shù)據(jù)中隱藏的非線性結(jié)構(gòu)。除此以外，線性方法只能處理具有屬性值的數(shù)據(jù)。在很多應(yīng)用中人們可能不知道數(shù)據(jù)的屬性值，而只知道相互關(guān)系(相似或不相似)。線性方法無法直接應(yīng)用于這樣的場合[7]。隨著Vapnik等人提出的統(tǒng)計學(xué)習(xí)理論和支持向量機(jī)方法的深入研究和應(yīng)用，通過核函數(shù)技巧進(jìn)行非線性映射技術(shù)被廣泛應(yīng)用于線性算法。線性算法紛紛被核化成為非線性算法。

1.1核主成分分析

KPCA是PCA的非線性推廣，它用非線性變換x→Φ(x)∈H，將n維空間中的隨機(jī)向量x映射到高維特征空間H，在其中設(shè)計通常的線性PCA，而在原空間中就是一種非線性算法[8，9]。設(shè)H中的樣本像為Φ(xj)， j=1，2，…，m，其集中在一起，均值為∑lj=1Φ(xj)=0。m是輸入樣本個數(shù)。KPCA對角化映射數(shù)據(jù)Φ(xj)的協(xié)方差矩陣

2支持向量網(wǎng)絡(luò)的訓(xùn)練

2.1分類器的多分類策略和相關(guān)反饋

人臉識別是多分類問題。本文應(yīng)用了一對多策略[10]SVM來構(gòu)建多類分類器，也就是采用了一個類同所有其他的類相比較的策略。為了區(qū)分n類圖像，需要構(gòu)建n個超平面，每個超平面將某一類從其他類劃分出來。也就是說，在圖1中KPCA提取數(shù)據(jù)特征后，實(shí)際需要構(gòu)建并訓(xùn)練n個并列的SVM分類器實(shí)現(xiàn)n類識別。

分類過程可以用相互比較的方式完成。基于內(nèi)容的圖像檢索(CBIR)技術(shù)，就是這樣的比較方法。分類可以通過檢索方式實(shí)現(xiàn)。但CBIR實(shí)用中，會因?yàn)樵诟邔痈拍詈偷蛯犹卣髦g存在巨大差別，圖像檢索的精度常不符合用戶的期望。一種稱為相關(guān)反饋的學(xué)習(xí)機(jī)制因此被提出[11]。其基本思想是根據(jù)相關(guān)信息建立一個模型，由用戶反饋指出哪個圖像同查詢圖像相關(guān)，以便再次檢索得到好的結(jié)果。利用相關(guān)反饋技術(shù)，有用的信息不僅是特征空間本身，而且包括了由用戶給出的相關(guān)信息。顯然，相關(guān)反饋通過對特征的重新加權(quán)改變了距離矩陣，使得相關(guān)圖像間距離更接近了。

SVM本質(zhì)上是神經(jīng)網(wǎng)絡(luò)。但與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同的是，它在訓(xùn)練中自動選擇網(wǎng)絡(luò)中心并加權(quán)特征。因而SVM還能夠用來對特征加權(quán)。本文的思路是對KPCA算法得到的特征，采用線性SVM自適應(yīng)加權(quán)進(jìn)一步挑選最有效特征，并得到分類模型。為了自動訓(xùn)練產(chǎn)生某類的SVM模型(分類超平面)，標(biāo)準(zhǔn)數(shù)據(jù)庫中的圖像被標(biāo)記為相關(guān)和不相關(guān)。本文執(zhí)行兩類SVM學(xué)習(xí)算法來構(gòu)建一個適合表示同類查詢的分類器。根據(jù)圖像到分類超平面的距離來索引它們，在結(jié)果中可以獲得相關(guān)圖像的排列順序。重復(fù)如此過程，直到屬于同一類的所有樣本都集中排序在索引記錄的最前面，即所有同類樣本都被SVM分類。這種方法首先由文獻(xiàn)[12]提出，筆者改進(jìn)并描述如下:

a)標(biāo)記訓(xùn)練集中圖像為兩類子集:相關(guān)集I+和不相關(guān)集I-;

b)為SVM準(zhǔn)備訓(xùn)練數(shù)據(jù)(fi， yi)， f表示從圖像hi中由KPCA提取的特征

fi∈I+∪I-，yi=+1， if fi∈I+-1， if fi∈I-(16)

c)利用SVM算法構(gòu)建決策函數(shù)

d(f)=∑iαiyi+b(17)

d)計算數(shù)據(jù)集中每個圖像Ii的得分

score(Ii)=d(fi)(18)

e)通過得分索引所有圖像，如果前N1個排序包括幾乎全部屬于一類的樣本，則停止訓(xùn)練;否則重復(fù)訓(xùn)練直至達(dá)到一個迭代限制。

N1表示某類訓(xùn)練樣本中的無噪聲樣本的數(shù)量，實(shí)際上控制著外點(diǎn)的數(shù)量。

2.2相似性估計

比較式(13)和(17)，筆者忽略了后者的符號函數(shù)sign(·)。因此d(f)是一個從一幅圖像到分類超平面的決策距離，也就是被加權(quán)后的特征形成的一種距離表示。而且，在相關(guān)反饋中，筆者只考慮了同一類樣本而沒有顧及其他所有類樣本，因此用到此處的這個兩類SVM算法更像是單類SVM[13，14]。特征加權(quán)使得分類超平面形成了一個包含球，它在特征空間包含了幾乎所有屬于一類的樣本。因此，能夠利用這樣的分類器，逐個地比較和測試被識圖像，并指定其標(biāo)準(zhǔn)描述向量hi到最小化d(fi)的類中。也就是說，此處用到了最近鄰準(zhǔn)則(NN)[15]分類。

SVM與KNN相結(jié)合構(gòu)造了一種新的分類器。該分類器把每類支持向量構(gòu)造的超平面作為類中心點(diǎn)，利用最近鄰準(zhǔn)則(也稱為最鄰近中心準(zhǔn)則)歸類數(shù)據(jù)。由于每類只有一個中心點(diǎn)(即每類的分類超平面)，避免了大規(guī)模數(shù)據(jù)條件下傳統(tǒng)KNN方法的反復(fù)計算，速度極快。方法如圖2所示。

2.3線性SVM的參數(shù)調(diào)整

只有一個懲罰因子參數(shù)C控制著線性SVM的性能(見式(11))，即控制著包含球(超平面)的形狀。它實(shí)際決定著包含球的外點(diǎn)數(shù)量。當(dāng)C減少時，外點(diǎn)數(shù)量增加;當(dāng)C增加時，外點(diǎn)數(shù)量減少。而分類超平面的支持向量數(shù)量也依賴于C。當(dāng)C減少時，支持向量數(shù)量減少。外點(diǎn)的增加使得球的形狀平滑，因而更容易用少的支持向量描述。

綜上所述，筆者希望這樣的情形，即每個相關(guān)樣本都能夠進(jìn)入包含球內(nèi)(外點(diǎn)僅僅是噪聲樣本)，且包含球能夠被最少的支持向量構(gòu)建。在這種情況下，優(yōu)化的C的值應(yīng)該盡量大，以便能包含所有同類樣本#65380;占據(jù)最大體積的特征空間;同時分類超平面應(yīng)該用盡量少的支持向量構(gòu)建以保持平滑這意味著推廣性最好。

具體算法中的實(shí)際措施為:設(shè)定一個較小的初始C值(如100)。通過相關(guān)反饋實(shí)現(xiàn)所有同類訓(xùn)練樣本進(jìn)入包含球，且異類樣本全部為外點(diǎn);在上述要求下，調(diào)整C逐漸變大，但保持支持向量數(shù)目最小化，從而自動得到最優(yōu)C。

3實(shí)驗(yàn)算法與結(jié)果

3.1實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)是在Celeron 2.66 GHz#65380;內(nèi)存512 MB#65380;Windows XP SP2機(jī)器上利用MATLAB 7.0編程實(shí)現(xiàn)的。使用ORL人臉數(shù)據(jù)庫作為數(shù)據(jù)集，分別以O(shè)RL 數(shù)據(jù)庫中每人的前一個或前兩個圖像作為訓(xùn)練集，剩下的樣本作為測試集。整個支持向量網(wǎng)絡(luò)實(shí)際需要人為控制的參數(shù)只有一個，即KPCA的多項(xiàng)式核的階次。為了說明問題，本文比較了PCA#65380;2DPCA#65380;KPCA+KNN(KPCA提取特征后直接利用K－最近鄰法分類)和KPCA+SVM(本文方法)的性能測試結(jié)果。

3.2利用指數(shù)衰減因子改善光照

KPCA是一種提取全局特征的方法，此類算法對光照條件變化敏感。為了抑制光照影響，本文對樣本圖像作了簡單的重映射(冪次變換)處理，也就是對訓(xùn)練樣本矩陣中的元素作一個指數(shù)衰減(即h=ha， 0

3.3實(shí)驗(yàn)對比結(jié)果

筆者首先比較了小樣本訓(xùn)練情況下的性能指標(biāo)。表1為顯示每類人臉只用一個樣本訓(xùn)練條件下，支持向量分類網(wǎng)絡(luò)有好的推廣性能，識別率可達(dá)76.39%。本文算法在這一指標(biāo)上優(yōu)于傳統(tǒng)PCA和2DPCA方法以及KPCA+KNN方法。

從實(shí)驗(yàn)結(jié)果來看，通過SVM加權(quán)特征以后，分類器的性能通常得到了提高。這是因?yàn)镵－最近鄰分類器嚴(yán)重地依賴于訓(xùn)練樣本所包含的類內(nèi)變化和類間變化。在小訓(xùn)練集情況下，K－最近鄰分類器的推廣能力較差;而SVM是以結(jié)構(gòu)風(fēng)險最小化為基礎(chǔ)的，它不僅能減小訓(xùn)練集的錯分風(fēng)險，也減小了未見樣本的推廣的錯分風(fēng)險[10]。

在表2中，d=1對應(yīng)的是線性情況。從實(shí)驗(yàn)結(jié)果來看，非線性特征的提取的性能優(yōu)于線性特征的提取。在多項(xiàng)式指數(shù)d較小的情況下SVM分類器取得了很好的性能。但是隨著d的增大，SVM的性能有所下降。這是因?yàn)閐越大，網(wǎng)絡(luò)越復(fù)雜，高次非線性特征越多。而并非所有的非線性特征都有利于識別分類，可能導(dǎo)致性能下降。

各種算法的性能比較如圖4所示。從中看出在小樣本情況下，本文算法明顯優(yōu)于PCA和KPCA+KNN方法。隨著訓(xùn)練樣本的增加，PCA和KPCA+KNN方法基本與本文方法性能持平。說明本文算法具有好的應(yīng)用價值。

4結(jié)束語

非線性特征提取算法和支持向量機(jī)在訓(xùn)練樣本數(shù)很少的情況下，能得到很好的性能。但是其中的參數(shù)調(diào)整是難點(diǎn)。本文采用了KPCA和線性SVM構(gòu)建的支持向量網(wǎng)絡(luò)識別人臉，通過自動的相關(guān)反饋策略實(shí)現(xiàn)了網(wǎng)絡(luò)的優(yōu)化訓(xùn)練。其中:KPCA用來提取特征，而線性SVM用來對提取的特征進(jìn)行加權(quán);對于每一類問題，SVM決策距離被用來作為距離度量手段，采用最近鄰法分類圖像。如實(shí)驗(yàn)結(jié)果所示，在每類圖像用1~2個樣本訓(xùn)練條件下，本文算法明顯優(yōu)于傳統(tǒng)方法，取得了較好的性能;在較多樣本訓(xùn)練條件下，本文算法也不低于傳統(tǒng)方法的識別性能。另外，對圖像灰度進(jìn)行指數(shù)因子衰減可以減少光照問題影響，提高識別精度。

參考文獻(xiàn):

[1]BELHUMEUR P N， HESPANHA J P， KRIENGMAN D J.Eigenfaces

vs fisherfaces: recognition using class specific linearprojection[J]. IEEE Trans on Pattern Anal Machine Intell， 1997，19(7):711－720.

[2]JUTTEN C， HERAULT J. Independent component analysis versus PCA[C]//Proc of European Signal Processing Conf. 1988:287－314.

[3]JUTEN C， HERAULT J. Blind separation of sources， part 1: an adaptive algorithm base on neuromimetic architecture[J]. Signal Processing， 1991，24(1):1－ 10.

[4]LEE D D， SEUNG H S. Learning the parts of objects by non－negative matrix factorization[J]. Nature， 1999，401(6755):788－791.

[5]BOSER B E， GUYON I M， VAPNIK V N. A training algorithm for optimal margin classifiers[C]//Proc of the 5th annual ACM Workshop on Computational Learning Theory.[S.l.]: ACM Press， 1992:144－152.

[6]SCHLKOPF B， SMOLA A， ROBERT M K. Nonlinear component analysis as a kernel eigenvalue problem[J].Neural Computer， 1998(10):1299－1319.

[7]ZHANG Dao－qiang， ZHOU Zhi－h(huán)ua， CHEN Song－can. Non－negative matrix factorization on kernels[C]//Proc of the 9th Pacific Rim International Conference on Artificial Intelligence(PRICAI’06). Guilin:[s.n.]， 2006:404－412.

[8]MLLER K R， MIKA S， RTSCH G， et al. An introduction to kernel－based learning algorithms[J]. IEEE Trans on Neural Networks， 2001，12(2):181－201.

[9]羅公亮.核函數(shù)方法(上，下)[J].冶金自動化，2002，26(3－4):1－4，1－3，14.

[10]杜樹新，吳鐵軍.模式識別中的支持向量機(jī)方法[J]. 浙江大學(xué)學(xué)報，2003，37(5):521－527.

[11]章毓晉.基于內(nèi)容的視覺信息檢索[M].北京:科學(xué)出版社，2003.

[12]ZHANG Lei， LIN Fu－zong， ZHANG Bo. Support vector machine learning for image retrieval[C]//Proc of International Conference on Image Processing. 2001:721－724.

[13]TAX D， DUIN R. Data domain description by support vectors[C]//VERLEYSEN M. Proc of ESANN. Brussels: D. Facto Press， 1999:251－256.

[14]BEN－HUR A， HORN D， SIEGELMANN H T， et al. A support vector clustering method[C]//Proc of the 15th International Conference on Pattern Recognition. 2000:724－727.

[15]DUDA R O， HART P E， STORK D G. Pattern classification[M].李冬宏，姚天翔，等譯.2nd ed.北京:機(jī)械工業(yè)出版社，2004.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”