改進的SIFT特征人臉識別方法ADSIFT

林 哲,閆敬文

(1.汕頭職業技術學院計算機系,廣東 汕頭 515078;2.汕頭大學工學院電子工程系,廣東 汕頭 515063)

0 引言

人臉識別技術是指根據人臉圖像確定人物的身份的技術,在視頻監控、視頻會議、照片檢索、身份認證等多個領域有重要的應用價值.但是,除了與物體識別[1]、手勢識別[2]等圖像識別問題一樣要面對光影、噪聲的影響之外,人臉識別還具有特殊的困難之處.首先,由于臉部肌肉的運動使臉部的彈性變化很大,有喜怒哀樂的表情,這些都會導致臉部形象發生變化,比如,笑的時候會瞇上眼睛或張大嘴巴,怒的時候會瞪大眼睛;其次,人臉是一個復雜的三維表面,五官等重要特征分布在人臉正面和兩側,因此,不同的攝像角度和姿態會使人臉的透視效果產生很大差異;再次,發型,眼鏡、絡腮胡須等也都可能對臉部形象造成不同程度的改變;最后,遮擋、光照也是影響人臉識別的主要因素.

當前,人臉識別的基本方法是從人臉圖像中提取出特征然后與已知人臉樣本的特征進行匹配.現有的研究基于不同特征提出了很多種人臉識別方法,例如2DPCA[3]、Local Probabilistic Subspace[4]、SOM face[5]、S2DPCA[6]、U2DDLPP[7]、KPCA+CNPE[8]、WV2PCA[9]、Radon變換[10]、拉普拉斯平滑變換[11]、AIC[12]等.

David G.Lowe[13]在2004年提出的SIFT(scale invariant feature transform)特征是一種能夠對尺度空間、圖像縮放、旋轉等仿射變換保持不變的圖像局部特征,對噪聲也能夠保持一定程度的穩定性.SIFT特征在物體識別[1]、手勢識別[2]、圖像匹配[14]、圖像拼接[15]、圖像檢索[16]、人臉識別[17,18]等領域都有成功應用.

文獻[1]將SIFT特征用于從足球比賽圖像中識別出足球,先利用霍夫變換從圖像中檢測并分割出圓形物體,然后從每個被檢測出的圓形物體圖像中提取出SIFT特征集合,再與存儲足球圖像SIFT特征的數據庫進行匹配,從而判定是否為足球.文獻[2]將SIFT特征用于人機交互中的手勢識別,可以識別"六"、"手掌"、"拳頭"三種具體手勢.先從訓練圖像中提取出SIFT特征,利用每個SIFT特征構造一個弱分類器,再使用Adaboost選出一部分弱分類器聯合成強分類器,總共構造了四個強分類器,一個用于識別圖像中是否有手勢,另外三個分別用于識別三種具體手勢.在每個強分類器中,計算每個被選出的弱分類器的SIFT特征與目標圖像的歐氏距離,當距離小于弱分類器閾值時,就將該弱分類器的權重累加,最后以權重累加值是否超過強分類器閾值作為最終分類依據.

SIFT特征的主要缺點是計算復雜性高,而且每個SIFT特征向量長達128維.本文針對光照、表情、噪聲等因素容易造成誤識別的問題,將文獻[2]方法進行改進并用于人臉識別,提出一種改進的基于Adaboost和SIFT特征的ADSIFT人臉識別方法.實驗表明該方法在ORL人臉數據庫上可達到98%識別率,優于文獻[6-9]的方法.

2 基于SIFT特征的人臉識別

文獻[17]利用SIFT特征向量來衡量人臉圖像的相似性.先從人臉圖像中分割出五官所在的六個子區域,把每個子區域圖像的相似度定義為SIFT特征向量的最大相似度,再綜合六個子區域的相似度得到總體相似度.但由于表情的影響,眼睛、嘴巴的形態會發生很大變化,容易造成該子區域的SIFT特征向量集合不穩定而導致誤匹配;另一方面,由于角度的影響,某一側的眼睛或耳朵子區域也可能沒有出現在人臉圖像中,從而影響該方法的適用性.

文獻[18]也是從人臉圖像中分割出若干子區域,但不是根據五官所在位置進行自然劃分,而是通過K-means方法將人臉圖像所有SIFT特征向量進行聚類,據此將人臉圖像分割為若干子區域,而不再受到五官位置的約束,具有更好的靈活性.但由于這種子區域劃分方法是以SIFT特征向量這種局部特征為依據,因而對表情、光照的變化非常敏感,使子區域的劃分結果有很大不確定性,容易造成不同臉部子區域的誤匹配.

每個人的臉部圖像都有一些與眾不同的特征,借助于SIFT特征的尺度不變性和旋轉不變性,從臉部圖像提取得到的SIFT特征向量可以在尺度、角度甚至表情有變化的情況下仍保持一定穩定.但實際上從同一個人的不同臉部圖像提取得到的SIFT特征向量集合卻有很大差異,這是因為光照、噪聲、夸張表情等因素可能破壞某些重要的SIFT特征向量或者帶來額外的SIFT特征向量,這些SIFT特征向量是無法反映臉部特征的,讓所有SIFT特征向量都參與計算反而會對準確衡量臉部圖像相似度造成干擾.因此,必須從人臉圖像的SIFT特征向量集合中選出那些最穩定的SIFT特征向量作為衡量相似度的依據.

2.1 SIFT特征

2.1.1 SIFT特征的提取

David G.Lowe提出的SIFT特征提取算法[13],先通過檢測尺度空間極值點構造出不同尺度的高斯差分核與圖像卷積生成高斯差分尺度空間(DOG scale-space),如圖1所示;再在所有檢測點中選出那些在尺度空間和二維圖像空間同時取得極大值或極小值的檢測點作為關鍵點,計算出每個關鍵點梯度模值和梯度方向;最后,將坐標軸旋轉為關鍵點的方向,然后以關鍵點為中心取16X16的窗口,分割為16個4X4的子窗口,在每個子窗口內計算8個方向的梯度累加值,最后得到128個數據,形成128維的SIFT特征向量.

圖1 在不同尺度下生成高斯差分尺度空間[13]

2.1.2 從人臉圖像提取SIFT特征向量

用SIFT算法,從每副人臉圖像提取得到SIFT特征向量集合,結果如圖2所示,其中每個SIFT特征向量用箭頭標出,箭頭的起點和方向分別表示SIFT特征向量的位置和方向.

圖2 從人臉圖像提取得到SIFT特征向量

2.2構造人臉圖像相似度函數的算法

對每個訓練圖像m,SIFTm表示提取得到的SIFT特征向量集合,本文在文獻[2]方法的基礎上進行了改進,利用一種基于Adaboost的算法從SIFTm中選出子集,并為子集中每個SIFT特征向量分配閾值和權重,然后用于構造相似度函數.

Adaboost是一種優秀的分類算法,其基本思想是利用多個弱分類器聯合形成強分類器,要求每個被選出的弱分類器必須至少優于隨機猜測.Adaboost算法由循環構成,每輪循環將根據正、反訓練樣本及其權重,從弱分類器集合中選出一個最好的弱分類器,使之具有最小的錯誤率,然后重新調整正、反樣本的權重,增加那些被正確分類的訓練樣本的權重,減少那些被錯誤分類的訓練樣本的權重,使Adaboost算法在下一輪循環中更關注那些被錯誤分類的訓練樣本.循環過程持續到選出足夠數量的弱分類器或者剩余弱分類器的錯誤率都大于0.5為止.最后得到的強分類器由那些被選出來的弱分類器的代數和組成.

為了構造人臉圖像的相似度函數,令

Q={(SIFT1,l1),(SIFT2,l2),…,(SIFTm,lm),},其中SIFTm表示訓練圖像m的SIFT特征向量集合,lm表示訓練圖像m的類別.Bm=(→p,θp,αp)→p∈SIFTm),其中 θp和 αp分別表示SIFT特征向量對應的閾值和權重.

對訓練圖像m,構造相似度函數Sm(x)的算法如下所述:

(1)為每個樣本(SIFTu,lu)∈Q-({SIFTm,lm)}分配一個初始權重

(2)利用每個→p∈SIFTm并選擇閾值θp可定義一個分類器:

該分類器稱為弱分類器,它對所有(SIFTu,lu)∈Q-{(SIFTm,lm)}進行分類,錯誤率為:

調整 θp,使 hp,θp(x)的錯誤率最小,記 ep=min({ep,θpθp∈[0,1]})

(3)得到弱分類器集合{hp,θp(x)→p∈SIFTm}后,從中選出一個錯誤率最低的弱分類器,即選出ht,θt(x)滿足et=min({ep→p∈SIFTm}.若et≥0.5,說明當前最好的弱分類器的效果并不優于隨機猜測,因此不再挑選弱分類器,跳轉到第(5)步.若et<0.5,則令其中αt就是該弱分類器的權重.可以看出,錯誤率越低的弱分類器,其對應的SIFT特征向量的區分能力越強,因而將得到更大的權重.

(4)根據最佳弱分類器的分類結果調整每個訓練樣本的權重.被ht,θt(x)正確分類的樣本,調整其權重由于βt<1,相當于增加了被ht,θt(x)錯誤分類的樣本的權重.

(5)標準化權重集合{w},使之成為概率分布.

重復上述第(2)-(5)步,直至選出盡快多弱分類器.

(6)利用被選出的弱分類器構造相似度函數.

首先,兩個SIFT特征向量→p和→q的相似度定義為它們的內積:

接下來,利用弱分類器所對應的SIFT特征向量和閾值、權重來構造訓練圖像m的相似度函數:

而SIFT特征向量→p與SIFT特征向量集合Λ的相似度定義為:

可以看出,與文獻[2]方法不同的是,本文并非直接利用弱分類器的代數和作為強分類器,而是利用弱分類器所對應的SIFT特征向量和閾值、權重來構造相似度函數,每個相似度函數將用于衡量特定訓練圖像的SIFT特征向量集與目標圖像SIFT特征向量集的相似度.

上述算法用偽代碼描述如下:

對每個→p∈SIFTm,選擇最佳閾值θp構造弱分類器hp,θp(x),使其對所有(SIFTu,lu)∈Q-

根據公式(5),由Bm構造人臉圖像的相似度函數Sm(x)

2.3 使用相似度函數識別目標圖像的算法

構造出每個訓練圖像的相似度函數之后,就可以分別計算目標圖像x與每個訓練圖像的相似度,相似度越高說明兩張人臉圖像屬于同一個人的概率越大,從而求出目標圖像x與每個類的訓練圖像的平均相似度,則目標圖像應屬于平均相似度最高的類.上述算法用偽代碼描述如下:

3 仿真實驗與討論

3.1 實驗結果

為了測試ADSIFT方法的識別效果,在Matlab7.0中實現了算法A1和A2,并在ORL人臉庫上進行識別實驗.ORL人臉庫中包含40個不同身份的人,每個人有10張圖像,表情、轉角有變化,如圖3所示.

圖3 ORL人臉庫

每次實驗過程分為四個階段:

(1)利用David G.Lowe[13]提供的SIFT算法從每個圖像提取出SIFT特征向量集合.

(2)用算法A1對訓練圖像進行學習,得到的學習結果記錄了從每個訓練圖像的SIFT特征向量集合選出來的SIFT特征向量及其對應的閾值和權重.

(3)用算法A2對每個測試圖像進行識別.

(4)統計識別率.識別率的定義如下:

實驗結果如表1所示,可見識別率高達98%.

表1 ORL人臉庫識別率

將ADSIFT方法的識別率與文獻[6-9]提出的方法對比,如表2所示,可見ADSIFT方法的識別率優于文獻[6-9]的方法,

表2 ORL人臉庫識別率對比

3.2討論

實驗結果證明了ADSIFT方法的有效性,該方法具有很高的識別率,其原因主要有兩個方面.首先,SIFT特征本身具有良好的尺度不變性和旋轉不變性,因此,當人臉圖像在尺度、角度方面發生變化時,SIFT特征能保持穩定,為準確識別提供了重要條件,解決了尺度變化、角度變化這兩個影響識別率的因素.其次,SIFT特征是一種局部特征,提取的是人臉局部區域的特點,因此,當人臉有局部遮擋時(如戴眼鏡、帽子等),未被遮擋區域的SIFT特征完全不受遮擋的影響,從而解決了遮擋這個影響識別率的因素;而當人臉表情發生變化時,人臉因受到表情肌肉的拉動而發生一定的彈性變化,但主要集中在表情肌肉豐富的眼睛周圍、嘴巴周圍和兩邊臉頰等區域,其他一些區域(如額頭、眼睛內部、鼻子、耳朵等)并不會有明顯變化,其局部特征也會保持相對穩定.此時,算法A1發揮了挑選穩定特征的重要作用,從人臉圖像中收集穩定特征并根據其穩定程度分別精確賦予權重,能更好地解決表情這個影響識別率的因素.

事實上,如果考慮文獻[18]中劃分人臉子區域時的一種特殊情況,將每個SIFT特征向量的位置作為初始聚類中心,則人臉圖像將被劃分為n個子區域(n等于SIFT特征向量的數量),每個子區域中包含1個SIFT特征向量.同時將文獻 [18]定義的局部相

似度計算公式SL(It,Ir)視為圖像Ir的函數FIt(Ir).容易看出,此時FIt(Ir)就是本文公式(3)定義的相似度函數SIt(Ir).

因此,本文的算法A1實際上是將訓練圖像劃分成更多子區域,使每個子區域只包含一個SIFT特征向量,然后再從子區域集合中剔除那些與同類圖像相似度過低的子區域,只保留那些與同類圖像的相似度大于或等于閾值的子區域來構造相似度函數,這與文獻[18]在計算局部子區域相似度時采用閾值是一致的.

比文獻[18]更進一步的是,在本文中每個子區域都通過算法A1分別得到一個獨立的精確閾值,而不是統一采用0.7作為閾值,因此更能抓住每個具體訓練圖像的獨特之處快速進行相似度比較,既降低了計算復雜度,又增強了魯棒性.

4 結論和展望

本文將Adaboost算法與SIFT算子結合起來用于人臉識別,提出一種改進的SIFT特征人臉識別方法.先利用一種基于Adaboost的算法選出每個訓練圖像中最有區分能力的SIFT特征向量并確定其閾值和權重,然后構造出每個訓練圖像的相似度函數并據此計算目標圖像的類別.實驗證明該方法能夠有效提高人臉識別率,在ORL人臉數據庫上識別率可達到98%.

但是,由于ADSIFT方法是基于訓練圖像與測試圖像的相似性來識別,因此,識別效果不可避免地受到訓練圖像多樣性的影響,如何選擇訓練圖像才能有效提高識別效果將是進一步要研究的問題.

[1]Leo M T.Orazio D,Spagnolo P,et al.SIFT based ball recognition in soccer images[J].Image and Signal Processing.2008,5099:263-272.

[2]Wang C C,Wang K C. Hand posture recognition using adaboost with SIFT for human robot interaction[J].Lecture Notes in Control and Information Sciences,2008,370:317-329.

[3]Yang J,Zhang D,Frangi A.F,et al.Two-dimensional PCA:A new approach to appearancebased face representation and recognition[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence,2004,26(1):131-137.

[4]Martinez A M.Recognizing imprecisely localized,partially occluded,and expression variant faces from a single sample per class[J].IEEE Trans.on Pattern Analysis and Machine Intelligence 2002,25(6):748-763.

[5]Tan X Y,Chen S C,Zhou Z H.et al.Recognizing partially occluded,expression variant faces from single training image per person with SOM and soft kNN ensemble[J].IEEE Transactions on Neural Networks,2005,16(4):875-886.

[6]曾岳,馮大政.一種基于人臉垂直對稱性的變形2DPCA算法[J].計算機工程與科學,2011,33(7):74-79.

[7]曹孝斌,廖海斌,李原.面向酉子空間的二維判別保局投影的人臉識別[J].計算機應用研究,2011,28(9):3569-3571,3575.

[8]盧桂馥,林忠,金忠.基于核化圖嵌入的最佳鑒別分析與人臉識別[J].軟件學報,2011,22(7):1561-1570.

[9]曾岳,馮大政.一種基于加權變形的2DPCA的人臉特征提取方法[J].電子與信息學報,2011,33(4):769-774.

[10]Jamal A D,Ali C,Ervin M,et al.Radon transform for face recognition[J].Artificial Life and Robotics.2010,15(3):359-362.

[11]Yu W W.Face recognition via adaptive image combination[J].Journal of Shanghai Jiaotong University(Science),2010,15(5):600-603.

[12]Gu S C,Tan Y,He X G.Laplacian smoothing transform for face recognition[J]. Science Chine Information Sciences,2010,53(12):2415-2428.

[13]Lowe D G.Distince image features from scale-invariant keypoints[J].1nternational Journal of Computer Vision,2004,60(2):91-110.

[14]原思聰,劉金頌,張慶陽,等.雙目立體視覺中的圖像匹配方法研究[J].計算機工程與應用.2008,44(08):75-77.

[15]何敬,李永樹,魯恒,等.基于SIFT特征點的無人機影像拼接方法研究[J].光電工程,2011,38(2):122-126.

[16]吳銳航,李紹滋,鄒豐美.基于SIFT特征的圖像檢索[J].計算機應用研究,2008,25(02):478-481.

[17]周志銘,余松煜,張瑞,等.一種基于SIFT算子的人臉識別方法[J].中國圖象圖形學報,2008,13(10):1882-1885.

[18]羅佳,實躍祥,段德友.基于SIFT特征的人臉識別方法[J].計算機工程,2010,36(13):173-174.