基于深度數據的空間人臉旋轉角度估計

蔣建國， 胡珍珍， 詹 曙

（合肥工業大學計算機與信息學院，安徽 合肥 230009）

人臉旋轉角度的估計是指確定輸入的人臉圖像在三維空間中對應于x、y、z3個坐標軸的旋轉角度。獲得準確的人臉姿態參數是智能人機交互、基于模型的視頻會議編碼、虛擬現實、智能控制以及人臉識別的前提條件，因而具有廣闊的應用前景。

近年來大部分人臉的姿態估計主要是基于二維人臉的灰度數據，對于姿態變化魯棒性較差。三維數據反映的人臉幾何信息，具有旋轉不變性，能夠克服姿態和光照變化的影響，因而受到越來越多的關注。當前三維數據的捕獲技術主要有[1]：基于立體視覺、結構光和激光掃描儀3種。基于立體視覺的捕獲技術是通過融合不同角度的二維圖像來合成三維人臉模型或三維圖像，通過各種光照模型，人臉表情模型和姿態估計消除光照條件，姿態和表情變化帶來的影響。結構光技術是采用一組模式光，如光點、光條或光面，投影到人臉上，由模式光的形變可以得到人臉表面的深度信息。激光掃描儀獲取的3D數據較精確，但是儀器價格昂貴，采集速度較慢。國內尹寶才、孫艷豐建立了目前國際上最大的中國人的三維人臉數據庫BJUT-3D，其中包括經過預處理的1200名中國人的三維人臉數據，這一數據資源對于三維人臉識別與建模方面的研究有重要意義[2]。

目前國內外對人臉旋轉角度估計的方法主要有兩類：基于表觀的方法和基于模型的方法。基于表觀的方法是假設3D人臉姿態與人臉圖像的某些特性（圖像密度、顏色、圖像梯度值等）存在唯一的對應關系，用大量已知3D人臉姿態的訓練樣本，通過統計方法來建立這種關系。國內馬丙鵬、山世光等利用了一維Gabor濾波器提取頭部圖像特征再用局部Fisher判別分析估計姿態[3]。但這種方法需要大量的訓練樣本作為先驗集，精確度大大受限于訓練樣本的劃分策略數量。基于模型的方法利用某種幾何模型或結構表示人臉的結構和形狀，在模型和圖像之間建立起對應關系，然后通過幾何或者其他方法實現姿態的估計。Mazumdar等人使用兩個外眉點和嘴的中心點，形成一個T字型人臉模型實現了人臉姿態的估計[4]。Xiao 等人利用圓柱表示三維的頭部，并根據透視投影來估計頭部的姿態[5]。Park等利用AAM（Active Appearance Models，主動外觀模型）、期望最大化算法和3DMM（3D Morphable Model，3D形變模型）實現的單幅人臉圖像姿態預測[6]。Ebisawal以基于兩瞳孔和鼻孔的3D檢測來做人臉姿態估計[7]。國內梁國遠、查紅彬等人利用人臉的三維模型生成特征點正面平行投影，根據圓和橢圓之間的仿射對應關系獲取人臉姿態[8]。基于模型方法的優點在于：人臉的幾何結構通過投影模型清楚地揭示了3D人臉姿態和2D人臉圖像的關系。當人臉特征點被精確定位后，這種方法簡單易行，且具有高的精確度。但是這種方法的不足之處在于對于面部特征點的定位敏感。針對這一問題，本文利用相關型圖像傳感器所獲取的面部深度數據和一一對應的灰度數據，對人臉面部特征點進行精確定位，并利用定位的結果對人臉在三維空間的旋轉角度進行估算。實驗結果表明，該方法可以準確的估計面部旋轉角度，并對姿態的變化有著較好的魯棒性。

1 三維人臉數據

實驗所用三維數據采用基于圖像傳感器獲得的三維深度數據，以及與其一一對應的灰度圖像數據，如圖1、圖2所示。

圖1 三維人臉圖像

圖2 三維深度圖像

2 基于曲率的特征點定位

物體表面曲率具有幾何不變性[9]。為了分析三維人臉的曲率，定義人臉曲面S[9]，S是由二次可微的實值函數f定義的，令則曲面S可表示為

對于曲面S上的每一點(x,y, （fx,y）)的平均曲率H和Gauss曲率K可用式(1)-(2)計算

根據GaussK和H的符號，可以將局部曲面的形狀分為9類[10]，如下表所示。

表1 根據K和H符號確定的局部曲面分類

由微分幾何的知識可知：在人臉曲面中鼻子頂點處為頂面部分Gauss曲率最大處，而兩眼之間的鞍點部分則為鞍脊面部分Gauss曲率最小處。定位結果如圖3所示。

3 基于灰度的特征定位

人臉眼睛部位常見的遮擋物為眼鏡，由于眼鏡的影響會造成基于曲率特征對眼睛的定位不準確。而由CIS（Correlativn Image Sensor，相關類型圖像傳感器）所獲取的人臉深度數據和灰度數據是一一對應的，因此可以根據由深度數據所提取的鼻尖和鞍點為基準，再在灰度數據中提取出左右瞳孔的位置。人的瞳孔在亮度圖像中的灰度要明顯的小于人臉中其他部分，根據人臉的形態結構知識，在鼻尖的上方、鞍點的左右區域設定搜索范圍，可以準確的找出灰度值最小點，確定左右瞳孔的位置。圖4的實驗結果表明，用亮度對眼睛的定位對于姿態變化和眼鏡遮擋的魯棒性較好，在光照不足的情況下也能夠對實現瞳孔準確定位。

圖3 利用曲率特征定位鼻尖點和鞍點

圖4 利用曲率和灰度對人臉鼻尖點、鞍點和左右瞳孔點定位的結果

4 基于特征點人臉旋轉角度估計

首先建立三維的人臉坐標系：水平方向為X方向，垂直方向為Y方向，垂直紙面指向外的方向為Z方向，如圖5所示。

圖5 人臉空間旋轉的3個方向

人臉面部的旋轉通常分成3種類型：平面內旋轉（XOY平面內旋轉）、左右旋轉（XOZ平面內旋轉）和上下旋轉（YOZ平面內旋轉）。

文獻[11]采用提取出的眼睛和嘴部的特征點建立等腰三角形來估計空間人臉的姿態。而實際上在空間中，面部的各個特征點很少在同一深度平面上，特別是在姿態發生偏轉時。本文根據CIS所獲取的人臉深度數據和灰度數據是一一對應的關系，在獲取特征點在灰度圖像中的位置的同時，也獲取了對應特征點的深度信息，通過對左右瞳孔、鼻尖點和鞍點空間位置坐標的計算，可以準確估計人臉在空間的旋轉角度。

以α、β、γ作為人臉分別繞X、Y、Z旋轉形成的角度。人臉面部每一點在空間中的坐標可表示為Xi,Yi,Zi。

γ的計算比較簡單，可直接通過左右瞳孔在圖像中的坐標計算出來，如圖6所示。令左右瞳孔的坐標分別為x1,y1,z1、 x2, y2,z2，則旋轉角度可由式(3)算出。

當人臉繞Y軸旋轉時，以鼻尖和鞍點的連線在空間中旋轉過的角度作為角度β。圖7中，saddle和nose點表示在中正面狀體下的鞍點和鼻尖點，saddle'和nose'則表示繞Y軸旋轉后的鞍點和鼻尖點。鼻尖的坐標為xn,yy,zn，鞍點的坐標為為xs,ys,zs。角度計算見式(4)。

圖6 旋轉角度γ

圖7 旋轉角度β

人臉繞X軸的旋轉角度α的計算也是通過鞍點和鼻尖點位置的變化來完成。圖8中，在中正面的狀態下，鼻尖與鞍點的連線與Y軸有一個夾角α0，當人臉圍繞X軸旋轉時，這一夾角會變成α'，兩個角度之間的差值即為人臉繞X軸的旋轉角度α。中正面時鞍點的坐標為xs,ys,zs，鼻尖點的坐標為xn,yn,zn，并且考慮到左右旋轉對上下旋轉的影響，旋轉角度可由式(5)算出。

圖8 旋轉角度α

同理可以計算出α′，則α=α′-α0

5 實 驗

實驗采用CIS采集的圖像包括7個人115組數據，每組數據可生成一幅深度圖和一幅灰度圖像，共有230幅圖像。這些人臉圖像包括：抬頭/低頭、左右偏轉等姿態和是否戴眼鏡不等人臉細節。圖像尺寸為64×64（單位：像素）。實驗中，令XOY平面內逆時針旋轉為正，順時針旋轉為負；XOZ平面內逆時針旋轉為正，順時針旋轉為負；YOZ平面內逆時針旋轉為正，順時針旋轉為負。部分實驗結果如表9所示。實驗結果表明，本文的方法能夠對不同姿態人臉的旋轉角度作出正確估算。

6 結 論

本文提出了一種利用深度數據和灰度數據，通過特征點定位結果對人臉在空間里的旋轉角度進行估算的方法。根據微分幾何的知識，利用曲率特征的旋轉不變性，結合灰度特征，對不同姿態和遮擋條件下的人臉特征進行了定位，并根據定位的結果對人臉的旋轉角度進行了計算。對于115幅人臉圖像的實驗結果表明：本文的方法可以準確定位鼻尖點、鞍點和左右瞳孔，并能實現人臉角度的精確計算。

人臉旋轉角度的計算對于后續的人臉識別及相關計算，是一個重要的前處理過程，可作為表情分析、五官分割等方向的預處理。三維的數據克服了二維數據信息不足的缺點，在以后的人臉處理中會有更加廣泛的應用。

圖9 對不同人臉、不同姿態的實驗結果

[1]詹 曙, 常 虹, 蔣建國, 等. 基于相關型圖像傳感器三維人臉成像的三維AAMs人臉識別方法的研究[J]. 中國圖象圖形學報, 2008, 13(10): 2059-2063.

[2]尹寶才, 孫艷豐, 王成章, 等. BJUT-3D三維人臉數據庫及其處理技術[J]. 計算機研究與發展, 2009,46(6): 1009-1018.

[3]馬丙鵬, 山世光, 陳熙霖, 等. 一種基于圖像表觀的魯棒姿態估計方法[J].軟件學報, 2009, 20(6):1651- 1663.

[4]Mazumda D R, Dutta S, Mitra S. Automatic feature detection of a face and recovery of its pose [C]//Communicated to Journal of IETE, 2003: 505-511.

[5]Xiao J, Moriyama T, Kanade T, et al. Robust full-motion recovery of head by dynamic templates and registration techniques [J]. International Journal of Imaging Systems and Technology, 2003, 13: 85-94.

[6]Park S W, Heo J G, Savvides M. 3D face reconstruction from a single 2D face image [C]//Proceedins of Society Conference on Computer Vision and Pattern Recognition. Anchorage, 2008: 1-8.

[7]Ebisawal Y. Face pose estimation based on 3D detection of pupils and nostrils [C]//Proceedings of IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems, Giardini Naxos, Itay, 2005:92-97.

[8]梁國遠, 查紅彬, 劉 宏. 基于三維模型和仿射對應原理的人臉姿態估計方法[J]. 計算機學報, 2005,28(5): 792-800.

[9]Colombo A, Cusano C, Schettini R. 3D face detection using curvature analysis [J]. Pattern Recognition, 2006,39: 444 - 455.

[10]Besl P J, Jain R C. Invariant surface characteristics for 3-d object recognition in range images [J].Comput, Vision, Graphics Image Process, 1986, 33:33-80.

[11]Nikolaidis A, Pitas I. Facial feature extraction and pose determination [J]. Attern Recognition, 2000, 33:1783-1791.