改進的多姿態矯正的人臉識別算法*

楊作寶，侯凌燕，楊大利

(1. 北京信息科技大學 計算機學院，北京 100101；2. 網絡文化與數字傳播北京市重點實驗室，北京 100101)

改進的多姿態矯正的人臉識別算法*

楊作寶1,2，侯凌燕1,2，楊大利1,2

(1. 北京信息科技大學 計算機學院，北京 100101；2. 網絡文化與數字傳播北京市重點實驗室，北京 100101)

針對人臉多姿態導致人臉識別率下降這一問題，提出一種改進姿態矯正處理方法,通過改進對人臉特征點的有效定位，來計算人臉姿態旋轉的角度，再通過角度和改進姿態矯正方法來矯正非標準姿態人臉到近似標準姿態。由于人臉是不規則的橢球形，提出對人臉“三庭五眼”的局部區域進行二次矯正方法，再改進SURF算法進行人臉特征點匹配。該方法能夠將一定角度范圍內的多姿態人臉矯正到近似標準姿態。實驗結果表明，該方法能在一定程度上提高多姿態人臉識別率，較經典PCA方法錯誤率可下降10%左右。

人臉識別；姿態矯正；姿態旋轉；SURF算法

0 引言

人臉識別技術是當代人工智能、模式識別、計算機視覺領域中的熱門研究課題之一[1]。在公安系統的犯罪身份識別、銀行海關的監控系統及機場、火車站的安檢系統等場合有著巨大應用價值。通過實際生活中對人臉識別的檢測結果得出，姿態因素是影響人臉識別結果的主要原因之一，己經成為限制人臉識別技術進步的難點。

近年來，學者們提出眾多解決人臉識別技術姿態問題的想法，但還沒有一套完備的方法理論，可以完全消除人臉圖像的多視角難題。目前在解決多姿態視角問題上有以下幾種主流方法:

(1)基于多視圖的人臉識別。該方法的識別是在可控條件下拍攝人臉圖像，需要采集每個人不同姿態的人臉圖像,訓練集數量越大，測試圖像與人臉訓練模型比對匹配時精度越高，識別正確率就越高。如K-means聚類[2]，LLR算法[3]、水平鏡像和決策融合[4]等，這些方法因其簡易、有效等特性被廣泛應用。該類方法的不足是：需要拍攝每人不同視角的圖像形成多視圖。這在諸如抓捕在逃犯罪分子之類的場合是不可行的。

(2)由單張人臉圖像生成多角度人臉圖像。該類方法往往是一個人臉僅有一個姿態樣本圖像，主要目的是解決單一樣本或者較少樣本的情況下識別率低的問題。通過單一人臉合成多角度人臉圖像，增加識別率。諸如局部加權平均[5]、虛擬樣本擴張法[6]、高斯過程回歸[7]等。由單張圖像合成多角度人臉圖像的方法要求準確度達到一定的標準，而實際中合成該類方法得出的形變函數和要代表的人臉差異性比較大。對于非剛性結構的人臉，像日常的消瘦和臃腫、情緒的喜怒哀樂等變化，也會加大識別的難度。

(3)人臉姿態標準化。要矯正人臉到標準姿態，是由于實際中往往得不到正面人臉圖像，通過圖像合成函數，把不同角度的人臉圖像矯正到標準人臉圖像，再與原有人臉圖像庫中人臉進行比對。此類方法有仿射變換[8]、正弦變換[9]、Clifford代數矯正[10]等，這種基于姿態矯正的方法具有時間復雜度低、識別更加精準等特點。對特征點有效提取和特征點匹配等方法進一步優化，可以較好地合成出人臉標準姿態圖像。

(4)使用與姿態無關的特征進行識別。直接提取對姿態變化不敏感的特征進行識別，如膚色、表情等。該方法有如下優點：不需要大量的已知姿態人臉圖像，不同的人只需少量的樣本；對測試樣本姿態變化的泛化能力強。典型方法有多因素分析算法[11]、外形和紋理的分布模型[12]等，該方法對人面部的旋轉有很強的魯棒性。但使用姿態無關特征也有缺點：它對標志點的定位十分敏感，需要計算大量的參數，且在參數確定上有待商榷。

實際中公安系統僅有一份身份證照片,在進行身份比對時，姿態變化復雜，訓練樣本少，效果不理想。本文使用相對較少的訓練樣本，在通用人臉圖像庫上進行實驗，結果表明，使用本文方法進行識別有相對較高的識別率，錯誤率較經典PCA方法下降10%左右，能夠有效克服一定條件下多姿態變化對人臉識別的影響。

1 多姿態人臉旋轉角度測定

人臉姿態的變化通常有以下三種情況:平面外俯仰旋轉、平面外左右旋轉以及平面內旋轉，即分別繞X、Y、Z三個軸旋轉。圖1標出了人臉在空間中的三個旋轉方向。

圖1 人臉旋轉角度坐標系

1.1 人臉特征點坐標定位

對于人臉圖像關鍵點的定位，應用方差積分投影對灰度值的敏感性，計算關鍵點的坐標。由于人臉特征是有一定對應關系的，通過關鍵點對應比值、距離等關系，對測試圖像的旋轉角度進行測定。假設圖像中坐標(x，y)處的灰度值為H(x,y)，則圖像的水平積分投影Sh(y)、垂直積分投影Sv(x)，在[x1,x2]和[y1,y2]區域內可分別表示為：

(1)

(2)

對于灰度積分投影水平和垂直的函數值進行分析，可以有效得出關鍵點。為了避免出現均值相同的情況，采用兩種方法取均值能更精確地提取特征點的位置。圖像在(x1,x2)和(y1,y2)區域內的水平方向的方差積分投影和垂直方向的方差積分投影可分別表示為:

(3)

(4)

通過“三庭五眼”人臉區域先估算人臉特殊點(眼睛、鼻子、嘴)的大概位置，再通過積分投影準確定位。人臉中其他區域的灰度值要明顯低于人眼瞳孔的灰度值。而人眼瞳孔的位置，在鼻尖的左斜上方和右斜上方，特定區域搜索，找出灰度值的最小點，即為左右瞳孔、眼睛的位置；在灰度圖上由于瞳孔的灰度特征相對明顯，可以較容易地提取出來；通過瞳孔和眼睛的大小可以確定左右眼角的坐標位置。

對于嘴巴的定位采取二值化算法，由于嘴巴位于人臉的下半部分，對于眼睛、眉毛、眼鏡等主要的干擾因素，可以在區域劃分時忽略不計。針對人臉的區域劃分進行閾值選擇，由于閉區域選擇法的特殊性，會使嘴巴區域的輪廓信息更為完整地凸顯。相對于嘴巴，橫向距離的寬度要大于縱向距離，且嘴巴區域是圓弧形連通的，較為集中。根據這些條件將嘴巴區域的坐標位置進行定位，進而確定嘴中心和左右嘴角的坐標位置。

對于鼻子，鼻尖和鼻孔都是孤立的點，而且鼻孔在圖像中通常比其他區域的像素的灰度值暗，從而形成黑斑。而鼻尖往往亮度高形成亮點。而Quoit濾波是基于數理形態學的濾波器，對孤立點定位精度高，可以定位鼻尖和鼻孔。使用Quoit濾波器的數理形態進行人鼻定位。Quoit濾波器公式定義：

q=e?M-e?R

(5)

可知e為圖像輸入,M為圓形元素，R為環結構。具體算法描述如下：對人臉圖像先進行歸一化處理，灰度值取補，這可以使圖像提取效果更加準確；對鼻尖和鼻孔使用濾波器進行處理后，再進行二值化處理，得到黑白圖像，使關鍵點明顯可見。左右鼻孔的選擇點就是白色部分。該算法很大程度上降低了運算時間。人臉特征點的坐標定位如圖2所示。

圖2 人臉特征點坐標定位圖像

1.2 旋轉姿態角度計算

Z軸上的人臉旋轉角度：由兩眼中心的連線與水平線的夾角得出，設旋轉后兩眼中心坐標分別為(x1,x2),(y1,y2)，則角度的計算公式為：

(6)

計算出這個值，就可以計算出水平狀態的旋轉角度。

Y軸上的人臉旋轉角度：當人臉沒有旋轉時，人臉中分線正好位于人臉圖像的中間；當人臉繞Y軸旋轉時，反映到圖像平面，表現為人臉中分線偏離人臉圖像的中心位置。假設人臉只是繞Y軸旋轉，左眼中心、右眼中心與嘴中心夾角的斜率分別為：tanβ1=k1，tanβ2=k2。左右眼外眼角與鼻尖的夾角差值：βnose=β1-β2，同理還可求得內眼角與嘴中心的夾角差值βeye，鼻尖與左右嘴角的夾角差值βmouth，三個差值取均值，定位Y軸上人臉旋轉的角度，公式如下：

(7)

X軸上的人臉旋轉角度：通過側視圖，得到人臉、嘴巴與水平線的夾角α1,α2，則計算公式如下：

(8)

2 人臉姿態矯正算法

在一定程度上訓練集和測試集的同一性影響著人臉識別的結果。兩者同一程度大，識別率就高。而往往攝像機拍到的人臉圖像是存在各種姿態角度的，它們作為測試集就需要先矯正到標準視圖人臉，再進行匹配識別。

把人臉分成很多小塊，每一個小塊就可近似認為是平面的，這時，可以充分發揮仿射變換的優勢，處理更大區域內的姿態變化，提高整個算法對姿態變化的魯棒性。仿射變換可用下式來表示：

x=Dx0+b，|D|≠0

(9)

其中，x,x0,b∈R2；D∈R2×2，x是對x0進行仿射變換后的結果，其可以看做是平移、縮放、旋轉、錯切、反射這5種變換的組合[13]。而典型的變換主要有旋轉變換、縮放變換和平移變換。二維仿射變換的算法如下：

(10)

圖3 “三庭”、“五眼”方法分割示意圖

通常情況下，人臉的兩臉頰在有姿態變化時，變化的弧度會更大，這就使人臉邊界容易發生扭曲現象。“三庭五眼”是人的頭部的比例。三庭是指下巴到鼻尖、鼻尖到眼眉、眉毛到發髻線，這三個部分被認為是相等的。五眼則更明顯，如圖3所示。因此，對人臉三庭五眼分塊，再對邊緣輪廓區域進行二次矯正，將存在一定姿態且存在一定程度形變的人臉邊緣映射為標準正面人臉圖像邊緣，使人臉識別更加準確。

針對人臉識別算法對姿態變化局部敏感的問題，提出局部姿態二次矯正算法，通過對人臉進行三庭五眼分塊，并利用二次矯正函數對姿態邊緣輪廓建模，有效提高參數估計精度。中心問題是把人臉圖像進行“三庭五眼”區域劃分，利用矯正模型處理邊緣輪廓的姿態，得出最優變換。該算法利用最小誤差為各局部區域估計較優的初值，有利于小范圍最優，使算法識別性得到提高。圖像變換參數描述圖像間的變換關系，如下式：

(11)

其中，參考圖像上的點為(x′,y′)，目標圖像上與之對應的點為(xi,yi)。變換矩陣有四對，可以選擇4對匹配點計算得出。假設匹配點都是正確的，則實際的矩陣與計算出的矩陣基本吻合。

3 人臉識別算法

SURF(Speed-Up Robust Features)[14]算法，是Bay等人提出的根據特征點周邊范圍的灰度值信息進行統計的一種匹配算法，主要用來計算主方向和特征向量的圖像配準。本文對SURF算法的特征點描述和特征匹配部分加以改進，提出最近鄰匹配算法對最終匹配識別結果進行尋優，減小特征點匹配的等待時間，提高最終識別率。

對于一幅圖像而言，從圖像的左上角到這個點所構成的矩形方框內所有點的灰度值之和等價于這個積分圖像中的任意像素點(x，y)的值。設G表示原始圖像，P∑(x,y)表示積分圖像，則有:

(12)

積分圖像加快了圖像卷積運算，降低了時間復雜度，加快了特征矢量的生成。

(1)興趣點檢測

針對平滑處理過后的圖像，在所有尺度空間上計算該像素點在該處的Hessian矩陣，計算完Hessian矩陣行列式的值后，再檢測興趣點。令圖像中某點像素值為(α,β)，則下面的Hessian矩陣為δ尺度上的Hessian矩陣：

(13)

其中，Hαα(α,β,δ)，Hαβ(α,β,δ)，Hββ(α,β,δ)都表示在(α,β)處二階偏導與圖像I的卷積。

(2)定位特征點和確定主方向

SURF在不同的尺度下尋找特征點，用抑制方法對圖像進行抽樣，求出極值后，將每一個像素點的Hessian值均分為26個像素點(同層相鄰8個、上下兩層毗鄰9個)進行比對，才能得出候選點。插值運算完以后，僅有幾個特征會最終被檢測出來，得到更精確的尺度和位置。

(3)生成描述子

相對于主方向，對每個子區域的水平和垂直方向的Harr小波響應都進行累加求和，生成一個四維的向量，得到的描述符如下:

D=M(∑dx,∑dy,∑|dx|,∑|dy|)

(14)

其中，D為四維向量，dx為水平方向響應、dy為垂直方向響應，對64維的特征向量進行歸一化處理，得到特征點的描述符。

(4)最近鄰匹配的改進

對于關鍵點的匹配，采用SURF自身的識別進行挑選，選用最近鄰匹配的思想對結果進行尋優；通過測試圖像與模板圖像的特征點匹配對數得出結論。以關鍵點特征向量之間的真實距離為衡量標準，兩個向量之間的距離越小，則認為匹配越成功。公式如下：

d=sqrt(x1-x2)2+(y1-y2)2

(15)

(16)

最近鄰歐氏距離與次近鄰歐氏距離作比，若比值在一定的閾值范圍內，則認為匹配正確，否則錯誤。經過不斷地測試表明，[0.5,0.6]范圍內是最優閾值。

(17)

對測試圖像與不同模板圖像的關鍵點匹配對數進行有效比較，判別匹配點數最多的為匹配的最終結果。

4 實驗結果及其分析

圖4 本文矯正方法對X、Y、Z軸的矯正前后對比

為了驗證本文提出的改進方法的有效性，采用以下幾種方法分別進行處理：直接在原圖像上采用PCA，LDA，LBP方法進行識別；將姿態進行矯正后再利用三種方法進行識別；采用文獻[8]的方法進行識別；本文的改進算法對圖像進行處理后進行識別。在ORL和FERET兩個著名的人臉數據庫上進行實驗。圖4是本文算法對三種姿態圖像處理的結果，從視覺效果上看，有效地抑制了多姿態變化，且對局部人臉姿態矯正有更好的校正效果。

4.1 ORL人臉庫

ORL人臉庫[14]包含40個人的400張圖像，每人10幅不同姿態的圖像，圖像大小都為128×128的灰度圖。每個人10幅人臉均有多種姿態和多種表情。并且此圖像存在尺度的變化，排列不整齊。分別在不同的方法上實驗比較。每個人的訓練張數分別為i=(1,2,3,4,5)張；其余的10-i張都作為測試集，取10次的均值。實驗結果如表1。

表1 ORL人臉庫各算法在不同訓練樣本數下的識別率 (%)

4.2 FERET人臉庫

FERET人臉庫[15]包含1 199個人的14 129幅圖像，有各種表情、姿態、光照等。木文采用姿態子集上1 001張圖像，共143人，每人7張，維度大小80×80，包含不同姿態旋轉和光照變化，分別在不同的方法上實驗比較。每個人的訓練張數分別為i=(1,2,3,4)張；其余的7-i張都作為測試集，取10次的均值。實驗結果如表2。

表2 FERET人臉庫各算法在不同訓練樣本數下的識別率 (%)

綜合比較，本文方法在同等訓練樣本情況下識別率都不低于對比的其他方法，而且在單訓練樣本時，提高了識別率。一定程度上說明采用本文方法能夠矯正一定姿態角度條件下的人臉圖像，且對人臉識別特征細節和局部矯正增強大有幫助。

5 結論

姿態問題是目前研究還沒有根本解決的問題。本文算法適用于對測試人臉圖像的多姿態變化進行矯正處理，改善了姿態角度的坐標定位及計算方法。在局部畸變的情況下，對邊緣輪廓等區域進行了二次矯正，通過改進SURF的特征匹配算法，更好地增加了特征點匹配的數量，具有良好的姿態矯正功能。選取ORL和FERET人臉庫圖像，結合其他歸一化處理方法，進行姿態矯正，實驗表明本文方法對多姿態人臉矯正有很好效果，顯著提高了識別率。但本文是對一定條件下的多姿態人臉進行處理，而實際中姿態變化是復雜多變的，如何更好地根據圖像的多變姿態情況對圖像進行矯正處理是將來急需解決的課題。

[1] 韓彥斌.基于人臉檢測和特征提取的移動人像采集系統[D].昆明：云南大學,2015.

[2] 王祎灝,宋璟毓.基于SURF特征的人臉識別方法研究[J].微型機與應用,2014，33(7)：31-34.

[3] 譚曉衡,張建慧.基于LLR算法的多姿態人臉識別[J].計算機應用研究,2011，28(1)：392-394.

[4] 李全彬,劉錦高,黃智.基于水平鏡像和決策融合的多姿態人臉識別方法[J].計算機應用與軟件,2012，29(12)：33-35.

[5] 楊姝.基于單視圖的多姿態人臉識別[D].鎮江：江蘇科技大學，2013.

[6] 單桂軍.基于虛擬樣本擴張法的單樣本人臉識別算法研究[J].科學技術與工程,2013,13(14):74-79.

[7] 應競舟，傅忠謙，王建宇.基于高斯過程回歸的多姿態人臉識別[J].計算機軟件與應用，2015,32(8):174-179.

[8] 李海彥，徐汀榮，張立曉，等. 基于仿射變換的多姿態人臉矯正和識別[J].計算機應用研究，2014,31(4):1215-1228.

[9] 龔衛國，黃瀟瑩，李偉紅.基于正弦變換的人臉姿態校正及識別研究[J].計算機工程與應用,2010,46(22):213-216.

[10] 丁立軍，馮浩，華亮.Clifford 代數3D 人臉姿態矯正方法[J].小型微型計算機系統，2013 ,34(4):906-909.

[11] 侯小靜.基于PCA算法和人臉姿態合成的人臉識別[D].長沙：中南大學，2013.

[12] 劉銳.基于人臉圖像稠密匹配的身份識別技術研究[D].合肥：中國科學技術大學，2014.

[13] 孫廣家.計算機圖形學(第三版)[M]. 北京: 清華大學出版社, 1998.

[14] 黨力.自動人臉分析與識別的若干問題研究[D].合肥：中國科學技術大學，2012.

[15] 安高云.復雜條件下人臉識別中若干關鍵問題的研究[D].北京：北京交通大學，2008.

CES 2016亮點回顧：駕駛EvoCar的奇妙之旅

想象一下有這么一輛來自未來世界的汽車：駕駛員可以輕松將手機與汽車進行互連，并且在支持彩色3D圖形顯示的觸摸屏控制面板上設定目的地或播放音樂，不僅如此，駕駛員還可以通過觸摸和語音控制，根據自己的喜好來定制控制面板上的各項功能。在日前的CES 2016上，TI就將這款名為EvoCar、通過“Jacinto” DRAx信息娛樂處理器系列實現的集成型信息娛樂控制臺從未來帶到了現實。

駕駛EvoCar進行倒車體驗時，駕駛員無需回頭查看車身后的情形，因為前方的擋風玻璃已經變成了一面清晰的彩色顯示屏，能夠為駕駛員提供車輛的俯視圖，包括兩個后視鏡中的景象以及實時的行人和物體檢測。這種擴增實景體驗是通過TI高級駕駛員輔助系統(ADAS)中的TDA系列ADAS處理器來實現的，而TI DLP?芯片組所提供的抬頭顯示 (HUD)功能則實現了關鍵信息的實時傳輸。

在行駛過程中，駕駛員因為前方道路堵塞，開啟轉向燈準備向右方變道，而此時，駕駛艙內突然響起了嗡鳴聲，同時方向盤和座椅的右側也會開始振動，前方的擋風玻璃上則會出現警告標示。原來，道路的右側出現了障礙物。這是觸覺反饋技術帶給駕駛員的深刻體驗，這項技術能夠通過觸覺反饋來提醒駕駛員可能存在的潛在危險，同時利用HUD為駕駛員提供警示信息。

在駕駛員繼續向目的地行駛的過程中，駕駛員可以輕易地在汽車中央的3D信息娛樂控制臺上調整音樂播放列表。同時，車內的乘客也可以享受各種妙趣橫生的娛樂功能，在他們的眼前，擋風玻璃上顯示的是另一番景象，那就是利用DLP?Product技術實現的乘客HUD。這個可視化體驗為前排乘客提供了信息娛樂功能，包括播放電影、瀏覽網頁、閱讀書籍等。而所有的這一切都不會對駕駛員造成任何影響。

當駕駛員開始覺得困倦時，眼前的ADAS系統會無時無刻地監視駕駛員的面部表情，同時分析其頭部運動，此外，系統還會根據眼睛運動，精確計量駕駛員的活動水平以及可能存在的困倦或睡意。當駕駛員的眼皮輕輕下垂，頭部上下運動時，支持觸覺反饋的方向盤和座椅便會開始振動，同時HUD也會提供即時的視覺警示，提醒駕駛員注意路面情況。

(TI公司供稿)

Improved face recognition algorithm of attitude correction

Yang Zuobao1，2，Hou Lingyan1，2，Yang Dali1，2

(1. School of Computer, Beijing Information Science &Technology University，Beijing 100101，China;2. Beijing Key Laboratory of Internet Culture and Digital Dissemination Research, Beijing 100101，China)

Aiming at the problem of multi-pose of face leading to a decline in human face recognition, an improvement correction processing method is put forward in this paper. By improving the effective positioning of face feature points, to calculate the face pose rotating angle, through angle and the method of improved posture correction to correct face to approximate standard from non-standard stance. Due to the face is irregular ellipsoid, the method of second correction for "three court five eye" local area is proposed. And the improved SURF algorithm is used to do face features matching. The experimental results show that the proposed method can improve posture face recognition rate compared with the classical PCA method, the error rate is reduced about 10%.

face recognition；attitude correction；attitude rotation；SURF algorithm

北京市屬高等學校創新團隊建設與教師職業發展計劃基金項目(1DHT20130519)

TP391.4

A

1674- 7720(2016)03- 0056- 05

楊作寶，侯凌燕，楊大利. 改進的多姿態矯正的人臉識別算法[J].微型機與應用，2016,35(3)：56- 60.

2015-10-09)

楊作寶(1986-)，男，碩士，主要研究方向：人工智能、模式識別、圖像處理。

侯凌燕(1963-)，女，碩士，副教授，主要研究方向：人工智能、模式識別、多媒體。

楊大利(1963-)，男，博士，副教授，主要研究方向：模式識別、語音識別、圖像處理。