基于稀疏模型的人臉姿態估計

邱麗梅， 吳 龍， 晉芳偉， 熊昌炯

（三明學院物理與機電工程學院，福建 三明 365004）

基于稀疏模型的人臉姿態估計

邱麗梅， 吳 龍， 晉芳偉， 熊昌炯

（三明學院物理與機電工程學院，福建 三明 365004）

針對現有的人臉姿態估計方法易受“自遮擋”影響，采用改進的ASM算法提取人臉特征點，并利用人臉形態的幾何統計知識來估計人臉特征點的深度值。以人臉主要特征點建立人臉稀疏模型，在利用相關人臉特征點近似估計人臉姿態后，通過最小二乘法精確估計三維人臉空間姿態。實驗結果表明，對于“自遮擋”情況，該方法仍有較好的估計結果，與同類方法比較具有良好的姿態估計精度。

人臉姿態估計；稀疏模型；特征點；最小二乘

人臉姿態估計即從輸入的單幅圖像或圖像序列中確定人臉在三維空間中的姿態的過程。它在人臉識別、智能環境、普適計算、智能屋等新技術及計算機游戲、虛擬現實、智能人機界面、機器人應用、人臉動畫合成、意識估計判別、低比特率視頻編碼、智能視覺監控和司機疲勞檢測系統等方面都有著廣泛的應用。現有的人臉姿態估計方法大體上可以分為兩類[1]：

基于人臉外觀的學習方法，即假設三維人臉姿態與人臉圖像的某些特性（圖像密度、顏色、圖像梯度值等）存在唯一的對應關系，用大量已知三維人臉姿態的訓練樣本，通過統計方法來建立這種關系[2]。

基于模型的方法，即利用某種幾何模型或結構來表示人臉的結構和形狀，建立模型和圖像之間的對應關系，然后通過幾何或者其它方法實現人臉空間姿態估計。與上述方法相比，基于模型的方法具有實施簡單、精度高等優點，但是它對特征點提取的精度要求較高[3-5]。

在不考慮“自遮擋”情況時，文獻[6]已得到了較精確的估計結果，針對“自遮擋”情況和文獻[7]中無法準確獲得人臉特征點的深度值，本文提出了一種基于稀疏模型和最小二乘法的三維人臉姿態估計方法。實驗結果表明，本文提出的方法不僅可以獲得穩定和唯一的三維人臉空間姿態，而且與同類方法比較具有良好的穩定性和姿態估計精度，并能適應一定的“自遮擋”情況。

1 人臉模型的建立

1.1 獲取特征點3D空間信息

通過改進的活動形狀模型（Active Shape Model，簡稱 ASM）方法提取人臉特征點[8-9]，該算法不僅速度快、精度高，且能適應一定的“自遮擋”情況（如，眼鏡及頭發小面積的局部遮擋等）和表情變化。準確地提取到所需要的特征點（如兩眼、嘴和鼻子等），但對于單張照片在不知道人臉特征點深度及其它信息的前提下進行姿態估計，只采用基于幾何模型的方法是不可能實現的。對此，利用人臉形態的幾何統計知識來估計人臉特征點的深度值[10]，從而豐富人臉預知信息，實現對單張照片中人臉的姿態估計。

已知人臉n個特征點，則人臉結構可用特征點進行線性組合構造一個稀疏形狀向量sL來表示，

式中，上標‘L’表示向量sL是由特征點組合而成的。由人臉特征形態學可知，人臉屬于線性結構，因此，人臉特征點向量的估計值可由訓練庫中所有人臉的稀疏形狀向量線性組合而成：

由輸入二維人臉圖像上的特征點信息，可以求出組合系數η：

通過優化求解得出使)(ηE取最小值的0η。則根據式(3)所有特征點的坐標組成的稀疏形狀向量的估計值為：

1.2 建立人臉稀疏模型

選用左右眼內外角點和左右嘴角點，鼻尖，下巴頂點等共 8個主要特征點來構成人臉的模型。模型坐標系的原點選在鼻尖處，這樣，人臉的稀疏模型實際由7個點的坐標構成，如下：

其中pi為模型點在自身坐標系中的坐標，xe1、xe2分別表示外、內眼角間距的一半，xm為嘴角間距的一半，yc為下巴定點到鼻尖的距離，z表示相應的深度距離，不同的人臉的這3個值是不同的，其差異部分反映了模型與真實人臉的結構的差異。

假設模型點pi(xi,yi,zi)對應的像點為qi(μi,vi)，R為姿態旋轉矩陣，t為平移矩陣，f為像機焦距。根據透視成像可得：

相應的透視成像模型可以表示如下：

姿態估計問題可表述為：已知像機參數C，模型點｛pi,i=1,2,…,n｝和其在像機C中的像點｛qi,i=1,2,…,n｝，求姿態參數(α,β,γ)。

2 人臉姿態估計

2.1 人臉姿態描述

人臉姿態有6個自由度的變化，即沿X、Y、Z軸的平移和繞X、Y、Z軸的旋轉。對沿X、Y的平移，在圖像上表現為人臉的位置變化，可以通過統一坐標系實現；對沿Z軸的平移，在圖像上表現為比例的變化，可以通過比例歸一化實現。所以本文重點在于研究人臉繞X、Y、Z三軸的旋轉問題，旋轉角分別為α、β 和γ。

2.2 基于最小二乘法的姿態精確求解

首先，利用相關特征點進行姿態近似估計，得到人臉姿態近似值α0, β0, γ0。

然后，對式（10），求其最小二乘優化解。通過線性化調整最小二乘[7]，過程如下：在檢測圖像坐標時總是存在誤差的，則，

其中，000,,γβα是近似值，γβαΔΔΔ,,是它們相應的誤差。

假設：

在此，不考慮平移量t，通過牛頓第一定律進行線性化得：

其中，“0”上標表示(α0,β0,γ0)所對應的函數值，當Fi1=Fi2=0，線性化方程可被表示成矩陣形式：

3 實 驗

本次實驗采用CMU PIE人臉數據庫，該數據庫包含了 68個人的人臉，均為彩色圖像，以PPM格式存儲，分辨率為640×486，人臉圖像大小不一，背景多樣，13種不同表情，43種不同光照，5種不同姿態，共41368幅人臉圖像。

實驗前，對圖像進行了去噪和標準化處理，圖像大小統一處理為 64×64。對其中的β＝0°，±22.5°，±45° 5個姿態共170幅人臉圖像進行了測試，其中也包含了部分“自遮擋”（眼鏡和少量頭發遮擋）。實驗基于Matlab6.5平臺，結果表示形式為(γβα,,)，單位為度(°)，隨機選取部分結果，如圖1所示：

圖1 部分估計結果

在一般應用系統中，對繞Y軸旋轉的斜視圖像應用較多，所以通過測試β來檢測算法的精確程度。下面列出β=0°、22.5°、45°時的絕對平均誤差表，如表1所示：

表1 β絕對平均誤差

實驗結果顯示，雖然圖像的姿態角越小或不存在“自遮擋”時，估計結果越精確，但β的總體絕對平均誤差為2.24°，仍然比較理想。

特征點定位往往是存在誤差的，特別是在“自遮擋”情況下，圖2顯示了當特征點定位有誤差時姿態估計的性能：

圖2 當特征點定位有誤差時姿態估計誤差的變化

曲線表明，雖然隨著特征點的定位誤差的增加，3個角度的誤差都有增大的趨勢，α和β的誤差增長比較明顯，但仍低于4°。

表 2給出了用本文方法與文獻[4]和文獻[7]方法測得的β估計結果比較。

表2 估計結果對比

可見，本文算法即使在“自遮擋”情況下，仍然具有較高的姿態估計精度。

4 結 束 語

對于本文提出的基于稀疏模型的人臉姿態估計方法，利用CMU PIE人臉數據庫進行實驗，結果表明：該算法不僅可以獲得穩定和唯一的姿態解，而且在有“自遮擋”的情況下，得到的β絕對平均誤差仍保持在 2.24°左右，與同類方法比較具有較好的姿態估計精度。

如果資金允許，能利用相關設備直接采集人臉三維數據，將使算法更能適應“自遮擋”、光照變化和多表情、多姿態變化情況。

[1]Eric M C, Mohan M T. Head pose estimation in computer：A Survey [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(4)：607-626.

[2]Li S Z, Lu Xiaogang, Hou Xinwen , et al. Learning multiview face subspaces and facial pose estimation using independent component analysis [J]. IEEE Transactions on Image Processing, 2005, 14(6)：705-712.

[3]Shafi M, Chung P W H. Face pose estimation from eyes and mouth [J]. Advanced Mechatronics Systems,2010, 11(2)：132-138.

[4]Mazumda D R, Dutta S, Mitra S. Automatic feature detection of a face and recovery of its pose [C]//Communicated to Journal of IETE, Washington, USA,2003：505-511.

[5]曾 慧，穆志純，袁 立.基于三維模型的人臉姿態估計方法[J]. 計算機工程, 2011, 37(9)：1-3.

[6]邱麗梅, 李青虹. 基于多點模型和改進BFGS的人臉姿態估計[J]. 計算機應用與軟件, 2011, 28(9)：126-129.

[7]胡步發, 邱麗梅. 基于多點模型的3D人臉姿態估計方法[J]. 中國圖象圖形學報, 2008, 13(7)：1353-1358.

[8]Wan K W, Lam K M , Chong K. An accurate active shape model for facial feature extraction [J]. Pattern Recognition Letters, 2005, 26(12)：2409-2423.

[9]邱麗梅. 基于改進的ASM人臉特征點定位[J]. 三明學院學報, 2010, 27(2)：124-127.

[10]王國胤, 龔 勛, 鄒建法, 等. 基于認知機理的三維人臉建模及應用研究[J]. 重慶郵電大學學報,2009, 21(4)：555-560.

Face Pose Estimation Based on Sparse Model

Qiu Limei, Wu Long, Jin Fangwei, Xiong Changjiong
( Department of Physics, Mechanical and Electric Engineering, Sanming University, Sanming Fujian 365004, China )

The method of face pose estimation is vulnerable to ‘self-occlusion’ at present. To solve this problem, an improved ASM algorithm is used to extract facial feature points, and the geometric statistical knowledge of the face shape is used to estimate the depth of the facial feature points. Then the sparse face model is established based on the main features of human face. After estimating the face pose approximately with relevant face feature points, 3D space face pose is estimated accurately via the algorithm of least-squares method. The experiment results show that the method has better estimated results for the case of ‘self-occlusion’, and has better estimation accuracy compared with the same kind of method.

face pose estimation; sparse model; feature points; least-squares

TP 391

A

2095-302X (2013)04-0094-04

2012-09-26；定稿日期：2013-01-28

福建省高校服務海西建設重點工程資助項目（HX200804）；福建省質量工程項目（ZL1002/RM(sj)）

邱麗梅（1981-），女，福建三明人，講師，碩士，主要研究方向為模式識別、機電一體化。E-mail：qiulimei1981@163.com