基于Ｇａｂｏｒ小波和模型自適應(yīng)的魯棒人臉識別方法

摘 要：提出了一種基于Gabor小波人臉特征和模型自適應(yīng)算法的新魯棒人臉識別方法。該方法在真實識別前，通過用與真實識別相同的環(huán)境條件下所獲得的人臉圖像數(shù)據(jù)對原始模型進行更新補償，實現(xiàn)了模型自適應(yīng)。該模型自適應(yīng)更新算法是加性的，其具有較低的時間和空間復(fù)雜度。通過模型自適應(yīng)更新，新方法可以有效地減少模型和識別數(shù)據(jù)間的失配，從而提高識別率。在ATT和MITCBCL人臉數(shù)據(jù)庫上的測試結(jié)果表明，該方法是有效的。

關(guān)鍵詞：模型補償； 人臉識別； 模型自適應(yīng)； Gabor； 聯(lián)想記憶模型

中圖分類號：TP39141 文獻標(biāo)志碼：A

文章編號：10013695(2008)09286804

Robust face recognition by Gabor features and model adaptation

LIN Jie， LI Jianping

(School of Computer Science Engineering， University of Electronic Science Technology of China， Chengdu610054， China)

Abstract:This paper proposed a robust face recognition algorithm based on Gabor wavelet representations and model adaptation. The models used in this work were from linear associative memory method and fast compensated by adaptively learning from the given facial data， which were obtained in same condition as testing. The proposed adaptation algorithm is incremental. It has low time and space complexity. By compensating models， this method can efficiently reduce the mismatch between models and testing data， substantially improving the performance of classifier. The new recognition method was tested using two widely used face datasets：ATT and MITCBCL face database. Results indicate that the algorithm is effective. And due to the computational simplicity， the algorithm is also efficient.

Key words：model compensation; face recognition; model adaptation; Gabor; associative memory model

隨著圖像處理和模式識別技術(shù)的發(fā)展，近幾年，人臉識別已經(jīng)成為模式識別和人工智能領(lǐng)域的研究熱點之一。目前主要的人臉識別方法有PCA方法^[1，2]、Fisher臉方法^[3]、支持向量機(SVM)^[4，5]和聯(lián)想記憶模型(associative memory， AM)^[6~9]等。但是在實際應(yīng)用中這些算法的性能并不理想。其主要原因是在實際應(yīng)用中，光照條件、人臉旋轉(zhuǎn)角度、表情、發(fā)型和背景等因素的變化造成了模型和識別數(shù)據(jù)間的失配，從而影響了識別算法的性能。

Gabor濾波器^{[10，11]}能夠提取諸如空間位置、方向取向選擇性和空間頻率特性等視覺特征，并且該特征具有對亮度和人臉表情變化不敏感的優(yōu)點，采用Gabor小波變換作為人臉特征提取方法。同時結(jié)合Gabor小波人臉特征，本文提出了一種基于Gabor小波人臉特征和模型自適應(yīng)更新算法的魯棒人臉識別新方法。該方法可以有效地減小由光照條件、發(fā)型和背景等因素的變化所造成的模型和識別數(shù)據(jù)間的失配，從而有效地提高識別效果。該方法采用聯(lián)想記憶模型(AM)作為基本模型。在新方法中，為了有效地減小模型和識別數(shù)據(jù)間的失配，在識別前，通過用與識別相同的環(huán)境條件下所獲得的人臉圖像數(shù)據(jù)對原始模型進行更新和補償，從而使模型自適應(yīng)于相應(yīng)的識別環(huán)境。因而新方法的識別過程由兩個階段組成，即模型自適應(yīng)階段和真實識別階段。在模型自適應(yīng)階段，筆者用在與真實識別階段相同的環(huán)境條件下所獲得的人臉圖像對原始模型進行更新，實現(xiàn)模型自適應(yīng)，從而減小了模型與識別數(shù)據(jù)間的失配。一種較簡單的模型自適應(yīng)方法為重新訓(xùn)練法，其通過用最初的訓(xùn)練數(shù)據(jù)集和模型自適應(yīng)階段獲得的人臉圖像數(shù)據(jù)對模型進行重新訓(xùn)練來實現(xiàn)模型自適應(yīng)。但是當(dāng)人(類)數(shù)目較大時，該算法具有很大的時間和空間復(fù)雜度。本文提出了一種更實際和有效的加性模型自適應(yīng)算法。該算法的優(yōu)點在于有很低的時間和空間復(fù)雜度，并且其效果近似于重訓(xùn)模型方法。在真實識別階段，首先獲得待識別人臉圖像的Gabor小波人臉特征；然后基于更新后的聯(lián)想記憶模型和相似度判斷，選擇具有最大相似度的一類作為識別結(jié)果。

1 Gabor小波人臉特征

Gabor濾波器的特性使得其對于亮度和人臉表情變化不敏感，這對于人臉識別極為有利，因此在人臉識別中得到了廣泛應(yīng)用。二維Gabor濾波器^[10]可表示為

其中：z=(x，y)為坐標(biāo)值，kμ，v=kvei u，kv=kmax/fv，μ=πμ/8。f為頻率域中的采樣步長，通常取f=2。kmax對應(yīng)最大的采樣頻率，取kmax=π/2。參數(shù)σ決定了高斯窗的寬度與波向量長度的比率，在本文中取σ=7π/4。參數(shù)v控制Gabor濾波器的尺度，即確定濾波器的頻域中心；μ控制濾波器的方向取向，選取不同的參數(shù)，則形成不同的帶通濾波器。本文中濾波器取下列參數(shù)：尺度v∈{0，1，2，3，4}；方向取向μ∈{0，1，2，3，4，5，6，7}。

一幅人臉圖像的Gabor小波表示是通過圖像與一組Gabor變換核的卷積得到的。假定I(x，y)是一幅灰度圖像，其Gabor小波變換定義如下：

其中：T表示轉(zhuǎn)置運算。本文令采樣因子ρ為4×4，即對矩陣的行和列分別以4為間隔進行下采樣。

2 聯(lián)想記憶模型

本章對聯(lián)想記憶模型^[6~9]理論作簡要介紹。聯(lián)想記憶是神經(jīng)元網(wǎng)絡(luò)模擬人腦的一種重要的記憶方式，具有容錯性及抗干擾性。聯(lián)想記憶的過程分為兩個階段：第一個階段是樣本的存儲及構(gòu)建聯(lián)想記憶矩陣P。假設(shè)輸入向量為xk輸出向量為yk（k=1，2，…，N），聯(lián)想記憶矩陣P的基本構(gòu)造方法如下式所示：

P=YX+（5）

這里Y=(y1，y2，…，yN)，X=(x1，x2，…，xN)分別為所有輸入輸出向量組成的矩陣；X+是矩陣X的偽逆矩陣，X+=〈X，X〉-1X T。

第二階段是聯(lián)想記憶。當(dāng)輸入一信息xk時，經(jīng)過聯(lián)想矩陣P，由下式可得到輸出向量:

聯(lián)想記憶模型可以有效地應(yīng)用于人臉識別中。假設(shè)第m（m=1，2，…，M）個人的第k幅訓(xùn)練人臉圖像經(jīng)Gabor小波變換后得到的特征矢量為xmk，訓(xùn)練階段可由式（5）構(gòu)造第m（m=1，2，…，M）個人的聯(lián)想記憶模型Pm=XmXm+。這里Xm=(xm1，xm2，…，xmN)，N為第m個人的訓(xùn)練圖像數(shù)。在識別時，將待識別人臉圖像的Gabor特征向量y輸入這M個模型，即可由m=P(m)y（m=1，2，…，M）獲得待識別人臉圖像的M個估計值。然后可基于歐式距離或相似性獲得y與m（m=1，2，…，M）的距離或相似度，并選擇具有最小距離d(y，m)或最大相似度sim(y，m)的一類為識別結(jié)果。距離和相似性函數(shù)定義如下：

d(y，m)=‖y-m‖=‖y-P(m)y‖（7）

sim(y，m)=(yT·(P(m)y))/(‖y‖·‖P(m)y‖)（8）

本文使用相似性函數(shù)作為分類判別函數(shù)。

3 模型自適應(yīng)更新算法

如前所述，在實際情況中，由于光照、發(fā)型、背景、表情等因素的變化造成了模型和識別數(shù)據(jù)間的失配，很大程度地影響了人臉識別系統(tǒng)的性能。一種有效的減小模型和識別數(shù)據(jù)間的失配方法是用與識別相同的環(huán)境條件下所獲得的人臉圖像數(shù)據(jù)對原始模型進行更新和補償，從而使模型自適應(yīng)于相應(yīng)的識別環(huán)境。一種較簡單的模型自適應(yīng)方法為重新訓(xùn)練法。其方法是首先把最初的訓(xùn)練數(shù)據(jù)集X和模型自適應(yīng)階段獲得的新人臉圖像數(shù)據(jù)U構(gòu)成一新的訓(xùn)練數(shù)據(jù)集[X U]，然后用式（5）和此新訓(xùn)練集重新訓(xùn)練一新模型，從而實現(xiàn)模型自適應(yīng)更新。但是這種方法存在以下兩個缺點：a)為了對模型進行更新，需要存儲以往所有的訓(xùn)練數(shù)據(jù)，所以當(dāng)類數(shù)目較大時，需要大量的存儲空間來保存以往的訓(xùn)練樣本集，因而該方法無法應(yīng)用于內(nèi)存空間有限的情況。b)由于每次對模型的自適應(yīng)更新需要將新得到的訓(xùn)練樣本和以往所有的訓(xùn)練樣本構(gòu)成一新訓(xùn)練數(shù)據(jù)集，然后用式(5)重新訓(xùn)練聯(lián)想記憶矩陣P，當(dāng)訓(xùn)練樣本數(shù)目較大并且類數(shù)較多時，模型更新過程具有較高的時間復(fù)雜度的缺點。

相對于重新訓(xùn)練方法，根據(jù)投影矩陣更新方法^[12]，本文提出了一種新的更為實際和有效的加性模型自適應(yīng)更新算法。采用加性自適應(yīng)更新算法有以下兩個優(yōu)點：a）不需要對以往的所有訓(xùn)練數(shù)據(jù)進行存儲，而只需存儲以往計算得到的模型數(shù)據(jù)，因而有效地減少了對存儲容量的需求。b）用加性更新避免了對模型進行重新訓(xùn)練，有效地降低了計算復(fù)雜度。因而本文所提出的新算法可以有效地解決重新訓(xùn)練法的兩大缺點，有效地減少時間和空間復(fù)雜度。

設(shè)初始訓(xùn)練數(shù)據(jù)集為X，模型自適應(yīng)階段獲得的新人臉圖像數(shù)據(jù)為U=(u1，u2，…，uK)。本文的目的是獲得與新子空間[X U]對應(yīng)的新聯(lián)想記憶矩陣PX，U，從而實現(xiàn)模型的自適應(yīng)更新。根據(jù)文獻[12]，設(shè)由初始訓(xùn)練數(shù)據(jù)訓(xùn)練得到的聯(lián)想記憶矩陣為PX，求更新的矩陣PX，U的加性更新方法是將PX，U分解為兩個部分之和：一部分是非自適應(yīng)部分，即已知部分PX；另一部分為自適應(yīng)補償部分Pw?？赏ㄟ^式（9）對原始模型進行加性自適應(yīng)更新。

PX，U=PX+αPw(9)

其中：α為補償系數(shù)。通過實驗筆者發(fā)現(xiàn)，α取0.6~0.8時所產(chǎn)生的識別效果最佳。在闡述該加性自適應(yīng)更新算法之前，首先給出一個定理。

定理1 PTX=PX

證明 PTX=(X(XTX)-1XT)T=X((XTX)-1)TXT=X(X-1(XT)-1)TXT=X(X-1(X-1)TXT=X(X

解決式（9）的一種較簡單方法是假設(shè)PX與Pw彼此正交，及PX⊥

由于更新是通過原始模型PX和模型自適應(yīng)階段獲得的新數(shù)據(jù)U實現(xiàn)的，而PX中不包含模型自適應(yīng)階段所獲得的新數(shù)據(jù)的任何作用，正交分解中的更新部分Pw應(yīng)該包含模型自適應(yīng)階段獲得的新數(shù)據(jù)U。不妨令w=HU，根據(jù)式（5），Pw可寫為

只可能有PXH=0。這表明H和PX正交，即H可記為P⊥X，并可由下式定義：

這里很容易證明PX(I-PX)=0。從而w可重寫為

4 新魯棒人臉識別方法

本文所提出的新魯棒人臉識別方法結(jié)合了第1章描述的Gabor小波人臉特征、基本AM模型和第3章提出的模型自適應(yīng)更新算法。完整的模型由M個獨立的AM模型組成。其中每一個AM模型對應(yīng)一個人（類）。新方法由訓(xùn)練、模型自適應(yīng)和真實識別三個階段組成。

41 模型訓(xùn)練階段

假設(shè)訓(xùn)練圖像集為O=(O(1)，O(2)，…，O(M))。M為人（類）數(shù)。O(m)=(O(m)1，O(m)2，…，OmN)(m=1，2，…，M)為第m個人的訓(xùn)練圖像集。N為第m個人的訓(xùn)練圖像數(shù)。

在訓(xùn)練時首先利用Gabor小波變換對人臉圖像進行特征提取，得到訓(xùn)練特征集X=(X(1)，X(2)，…，X(M))。這里，X(m)=(x(m)1，x(m)2，…，xmN)（m=1，2，…，M）為第m個人的訓(xùn)練特征集合，xmi為訓(xùn)練人臉圖像Omi的Gabor小波人臉特征矢量，然后由式（5）和X(m)構(gòu)建第m（m=1，2，…，M）個人的AM模型Pm（m=1，2，…，M）。

4.2 模型自適應(yīng)階段

由于識別環(huán)境中光照、發(fā)型、背景等條件與訓(xùn)練環(huán)境有所不同，在識別前需要根據(jù)不同的識別環(huán)境對所訓(xùn)練的聯(lián)想記憶模型進行自適應(yīng)更新。在真實識別之前，首先在與真實識別相同的環(huán)境條件下采集人臉圖像數(shù)據(jù)集。然后通過Gabor變換得到相應(yīng)圖像的人臉特征矢量U=(U1，U2，…，UM)，M為人（類）數(shù)。其中：Um=(um1，um2，…，umK)(m=1，2，…，M)是第m個人的模型自適應(yīng)階段獲得的人臉圖像特征集，其包含了在模型自適應(yīng)階段采集到的該人的K幅人臉圖像的Gabor人臉特征。最后根據(jù)式（13）和（16），分別用Um更新第m（m=1，2，…，M）個AM模型，獲得更新后的模型P

4.3 真實識別階段

在識別時，未知人臉圖像O′被輸入系統(tǒng)，如同前面所述，首先用 Gabor小波變換獲得該人臉圖像的Gabor小波人臉特征y；然后通過m=PmX，Uy 獲得M個待識別人臉圖像特征的估計值m（m=1，2，…，M）；最后通過式（8）計算待識別人臉圖像特征和各類估計值的相似度，并選擇相似度最大的一類為識別結(jié)果。

5 實驗及結(jié)果分析

51 ATT人臉數(shù)據(jù)庫

第一個實驗數(shù)據(jù)庫為ATT人臉數(shù)據(jù)庫^[13]。該數(shù)據(jù)庫包括40個不同年齡和性別的人的人臉圖像。每個人有10幅人臉圖像，其大小為112×92。在每個人的10幅圖像中分別存在表情變化（如睜眼、閉眼）和人臉細節(jié)變化（如有眼鏡和無眼鏡）。但是所有圖像都是在相同光照和背景條件下采集得到的。

本文實驗重復(fù)了四次，每次隨機地選擇200幅圖像（每個人5幅，共40個人）作為訓(xùn)練集。為了證明筆者提出的新方法對光照變化和表情變化的魯棒性效果，隨機地改變了剩下的200幅圖像的光照條件，并由改變后的200幅人臉圖像構(gòu)成了自適應(yīng)和真實測試數(shù)據(jù)集（每個人5幅，共40個人）。其中自適應(yīng)數(shù)據(jù)集由每個人剩下的5幅圖像中的2幅構(gòu)成，真實測試數(shù)據(jù)集由每人剩下的3幅人臉圖像組成。圖1為其中一個人分別在訓(xùn)練和自適應(yīng)與真實測試集中的人臉圖像。實驗中α=0.8。為了證明新算法的性能，在相同的條件下同時對新方法、基本AM模型方法、用重訓(xùn)練方法作為自適應(yīng)更新法的AM模型方法和PCA^[1]方法作了對比測試。

表1為在ATT數(shù)據(jù)庫中各個算法的平均識別率。從表1可以看出，本文提出的新算法識別精度要高于基本AM模型和PCA方法，特別是相比PCA方法，新方法所獲得的識別率要高出近10%。這是因為新方法用模型自適應(yīng)階段得到的人臉圖像數(shù)據(jù)自適應(yīng)地更新了AM模型，減小了模型和識別數(shù)據(jù)間的失配，提高了識別率。同時也可以看出本文提出的方法和用重訓(xùn)練方法作為自適應(yīng)更新法的AM模型方法有相同的識別效果。但是相比重訓(xùn)練方法，本文方法無須對以往的所有訓(xùn)練數(shù)據(jù)進行存儲，而只需存儲以往計算得到的模型數(shù)據(jù)，因而有效地減少了對存儲容量的需求。同時新方法由于用加性更新算法對模型進行自適應(yīng)更新，相比用重訓(xùn)練法有更低的時間復(fù)雜度。在ATT數(shù)據(jù)庫中的實驗表明，用新算法對模型進行更新的速度相比用重訓(xùn)練模型更新算法平均要快近2倍。

52 M ITCBCL人臉數(shù)據(jù)庫

第二個實驗數(shù)據(jù)庫為MITCBCL^[14]。該數(shù)據(jù)庫包括了10個人的人臉圖像。每個人有200幅圖像。該圖像庫中存在人臉旋轉(zhuǎn)角度、發(fā)型、光照條件和背景變化。最初的圖像大小為115×115、100×100和82×82。筆者將所有圖像大小調(diào)整為100×100。

實驗中，從每個人的200幅圖像中選出40幅有相似光照條件或背景的人臉圖像組成每個人的訓(xùn)練集。自適應(yīng)和真實測試集由剩下的與訓(xùn)練圖像有不同光照條件或背景的人臉圖像組成。其中用于模型自適應(yīng)的圖像集由10×10（每個人10幅圖像）或20×10（每個人20幅圖像）組成。真實測試集由每個人剩下的140幅圖像中的80幅組成，共80×10幅。圖2分別為其中兩個人在訓(xùn)練、自適應(yīng)和測試集中的人臉圖像。

表2 為新方法和重訓(xùn)法AM模型方法分別用10或20幅圖像進行模型自適應(yīng)更新后所獲得的識別率。表3 為新方法、基本AM模型方法、重訓(xùn)法AM模型方法和PCA方法在MITCBLC人臉數(shù)據(jù)庫上的識別率。從表2和3可以看出，在自適應(yīng)階段，小數(shù)目的人臉圖像數(shù)據(jù)已經(jīng)可以有效地對模型進行調(diào)整，從而減小模型與識別數(shù)據(jù)間的失配，提高識別率。相比沒有進行模型更新的傳統(tǒng)AM方法和PCA方法，新方法和用重訓(xùn)練方法作為自適應(yīng)更新法的AM模型方法所獲得的識別率要高出近25%。同樣從表2可以看出，新算法和用重訓(xùn)練方法作為自適應(yīng)更新法的AM模型方法有相近的識別效果。但是與實驗一相同，在MITCBCL數(shù)據(jù)庫上的實驗表明，用新算法對模型進行更新的速度相比重新訓(xùn)練模型更新算法平均要快近2.5倍。

6 結(jié)束語

在實際情況中，由于光照、發(fā)型、背景、表情等因素的變化造成了模型與識別數(shù)據(jù)間的失配，極大地影響了人臉識別系統(tǒng)的性能。本文提出了一種新的魯棒人臉識別方法。該方法采用對亮度和表情變化不敏感的Gabor小波人臉特征作為人臉特征，同時結(jié)合模型自適應(yīng)更新方法在真實識別前用模型自適應(yīng)階段獲得的人臉圖像數(shù)據(jù)對模型進行自適應(yīng)補償，從而減小了模型與識別數(shù)據(jù)間的失配，提高了識別率。一種簡單的模型更新方法是重訓(xùn)練法。其通過用最初的訓(xùn)練數(shù)據(jù)集和模型自適應(yīng)階段獲得的人臉圖像數(shù)據(jù)對模型進行重新訓(xùn)練，來實現(xiàn)模型自適應(yīng)更新。但是該方法具有較高的時間和空間復(fù)雜度。本文提出了一種加性的自適應(yīng)模型更新算法。該算法的優(yōu)點在于有很低的時間和空間復(fù)雜度，并且其效果近似于重訓(xùn)模型方法。在ATT和MITCBCL人臉數(shù)據(jù)庫上的測試結(jié)果表明本文所提出的算法是有效的。在此基礎(chǔ)上，下一步工作是研究更具魯棒性的人臉特征和識別模型。

參考文獻：

［1］TURK M， PENTLAND A. Eigenfaces for recognition[J]. Journal of Congnitive Neuroscience，1991，13(1):7186.

[2]XIE Xudong， LARN K M. Gaborbased kernel PCA with doubly nonlinear mapping for face recognition with a single face image[J].IEEE Trans on Image Processing，2006，15(2):24812492.

[3]CHEN Wensheng， YUEN Pongchi， HUANG Jian，et al. Face classification based on Shannon wavelet kernel and modified fisher criterion[C]//Proc of the 7th International Conference on Automatic Face and Gesture Recognition.Southampton:[s.n.]，2006:467474.

[4]DAI Guang， ZHOU Changle. Face recognition using support vector machines with the robust feature[C]//Proc of the 12th IEEE International Workshop on Robot and Human Interactive Communication. Roman:[s.n.]，2003:4953.

[5]GUO Guodong， LI S Z， CHAN K. Face recognition by support vector machines[C]//Proc of the 4th IEEE International Conference on Automatic Face and Gesture Recognition. Grenoble:[s.n.]，2000:196201.

[6]KOHONEN T. Associative memory: a system theoretic approach [M]. Berlin: SpringerVerlag， 1977.

[7]TEUVO K. Selforganization and associative memory[M]. Berlin: SpringerVerlag， 1989.

[8]ZHANG Bailing， ZHANG Haihong， GE S S Z. Face recognition by applying wavelet subband representation and kernel associative memory[J].IEEE Trans on Neural Networks，2004，15(3):166177. 

[9]ZHANG Bailing， LEUNG C. Robust face recognition by multiscale kernel associative memory models based on hierarchical spatialdomain Gabor transforms[C]//Proc of the 7th International Conference on Automatic Face and Gesture Recognition. Southampton:[s.n.]，2006.

[10]WANG Guoqiang， OU Zongying. Face recognition based on image enhancement and Gabor features[C]//Proc of the 6th World Congress on Intelligent Control and Automation. Dalian:[s.n.]， 2006:97619764.

[11]LIU Chengjun， WECHSLER H. Independent component analysis of Gabor features for face recognition[J].IEEE Trans on Neural Networks，2003，14(4):919928.

[12]張賢達. 矩陣分析與應(yīng)用[M].北京: 清華大學(xué)出版社， 2000.

[13]ATT. Laboratories Cambridge facial database [EB/OL].(2002). http://www.uk.research.att.com/facedatabase.html.

[14]MITCBCL.Massachusetts Institute ofTechnology，the Center for Biological and Computational Learning facial database[EB/OL].(2004). http://cbcl.Mit.edu/softwaredatasets/heisele/facerecognitiondatabase.html