基于局部二值特征的人臉姿態估計系統的研究與實現

◆鐘小華 張永清 肖成軍

（1.廣東白云學院機電工程學院 廣東 510450；2.廣東非思智能科技股份有限公司 廣東510507）

基于局部二值特征的人臉姿態估計系統的研究與實現

◆鐘小華1張永清2肖成軍1

（1.廣東白云學院機電工程學院 廣東 510450；2.廣東非思智能科技股份有限公司 廣東510507）

本系統利用VS2010開發平臺結合OpenCV圖像處理軟件實現人臉姿態的計算。首先采用Adaboost算法和Haar特征檢測出待檢測圖像中的人臉，接著采用局部二值特征算法估算人臉的68個特征點，并利用比例正交投影迭代變換算法結合估算的68個人臉特征點實現了人臉人臉的姿態估計。實驗結果表明該系統對有遮擋或轉角過大的人臉也具有較高的準確度。

人臉姿態估計；人臉位置檢測；局部二值特征

0 引言

人臉姿態估計在虛擬現實與增強、3D應用、表情識別等領域有廣泛的應用。由于背景復雜、光照、距離、姿態等原因，人臉字姿態估計一直是國內外學者關注的重要課題之一，目前人臉姿態估計的方法主要有：基于幾何模型的姿態估計法、基于三維模型的姿態估計法、基于人臉特征的姿態估計法。基于幾何模型的姿態估計法是通過把人臉的關鍵點與常見的幾何模型進行匹配從而估計人臉的姿態[1-2]，該方法簡單容易實現，但若人臉姿態的變化角度過大(>45°)會造成姿態估算結果偏差較大?；谌S模型的姿態估計法首先需要建立人臉三維模型庫，將待檢測的二維人臉與三維模型庫的旋轉一定角度對應人臉模型投影到二維圖像進行匹配，完成人臉姿態的識別[3-4]，但構建三維人臉數據庫需要的數據量巨大，對計算機 CPU和存儲空間要求較高，耗時長，同時對樣本的姿態和光照要求高，實際中難以應用?；谌四樚卣鞯姆椒ɡ盟惴z測人臉特定部位的特征點，一般為眼睛、鼻子、嘴等，這些特征點在姿態、視角和光照等條件發生改變時依然存在，從而利用二維特征點進行三維匹配確定人臉的空間姿態。尺度不變特征變換（SIFT）[5-6]對圖像尺寸、旋轉、仿射變換的能夠保持不變性，對圖像中人臉的尺寸大小和姿態轉換具有一定的適應能力，但 SIFT算子維度高，計算量大。稀疏表示分類（SRC）[7-8]在有噪聲影響和遮擋的人臉識別問題上表現出了獨特的優勢，但沒有針對多姿態問題加以解決。本研究結合人臉特征的方法，采用人臉局部二值特征算法求得人臉關鍵點位置，再用比例正交投影迭代變換算法估算人臉的姿態。

1 基于局部二值特征的人臉姿態估計的核心算法

基于局部二值特征的人臉姿態估計實現過程可以分為三個步驟：1)人臉檢測；2）局部二值特征計算；3）人臉姿態估計。

圖1 人臉姿態估計流程圖

1.1 人臉檢測算法

人臉檢測是判斷人臉在一幅待檢測圖像是否存。首先需要對訓練集圖像中的人臉進行 Harr-like特征提取，再利用 Adaboost算法進行判斷。Adaboost算法通過不斷的迭代從大量的Harr-like特征中找到小部分人臉關鍵的特征，利用這些關鍵特征產生一些有效的分類器，然后將大量的分類能力一般的弱分類器以一定的方法級聯疊加起來構成一個強分類器[9]，該方法能夠有效地識別人臉和非人臉。流程示意圖如圖2所示。

圖2 Adaboost算法示意圖

1.2 局部二值特征算法

采用局部二值特征算法來標記人臉的68個特征點，例如眼睛、嘴、鼻子、眉毛以及人臉輪廓點等。人臉的 68個特征點 S的實際位置如圖3所示。

圖3 68個人臉特征點

對于圖像I，輸入人臉標準初始形狀S0，通過級聯的方式估算一個形狀增量 △S來逐步修正S，估算第t次迭代的形狀增量△St的過程為：

其中 I為輸入圖像，St-1為前一個層級得到的形狀，Φt為特征映射函數，Wt為線性回歸矩陣。

（1） 局部二值特征的生成

公式（2）的特征映射函數Φt由一系列的局部特征函數組成，如每一個局部特征函數都可以通過獨立學習得到。采用一種標準的隨機回歸森林來學習每個隨機森林樹的分割點用像素差特征訓練得到。假設葉子節點數的總數為D，輸出為：

（2） 全局線性回歸特征模型

其中第一項為回歸目標，第二項為 Wt的L2正則化項。因為特征維度高，正則化必不可少。

1.3 比例正交投影迭代變換算法

如圖4所示，人臉姿態的構成由三種角度組成，分別為左右翻轉（偏航角 roll），平面內旋轉（翻轉角 yaw），上下翻轉（俯仰角pitch）。

圖4 人臉姿態示意圖

本研究的姿態估計采用非線性最小二乘方法模型來估算：

其中(α,β ,γ) 代表人臉姿態的三個旋轉角度，N代表一張人臉上標定特征點的個數，qi代表檢測的人臉特征點，pi代表對應的三維通用標準模型特征點，R為旋轉矩陣，T為空間平移向量。其中旋轉矩陣R和空間平移向量T采用比例正交投影迭代變換（POSIT）算法[10]求出，該算法能夠根據2D圖像中的若干特征點位置，估計出物體在3D上角度，主要過程為：通過比例正交投影迭代變換（POSIT）算法求人臉特征點的旋轉矩陣R和空間平移向量 T估計值；將其作為初始值進行弱透視投影，再通過POSIT算法迭代不斷修正前一次的估計值，直到結果滿意為止。

假設旋轉矩陣R和空間平移向量T如式（6）所示：

在本文中，采用局部二值特征線性回歸的方法求得人臉的68個特征點位置，結合標準3D模型中的相應位置的對應點，采用POSIT算法估算出旋轉矩陣與平移矩陣，最終估算出人臉的偏轉角度。

2 實驗結果及分析

2.1 實驗數據庫及人臉數據預處理

采用LPFW人臉數據庫[11]進行實驗。該數據庫中包含25000個規格不同膚色不同的人臉圖像。從該人臉庫中隨機選取12500個人的人臉圖像作為訓練樣本集，剩下的一半作為測試集。

2.2 人臉姿態估計總體結構設計

人臉姿態估計的開發工具是微軟公司推出的開發環境Visual Studio 2010，利用了一個主流計算機視覺開發庫OpenCV，OpenCV版本為OpenCV2.4.9。系統的流程圖如圖5所示，人臉姿態估計系統主要包括人臉檢測模塊、局部二值特征預測模塊、人臉姿態估計模塊。

圖5 人臉姿態估計流程圖

（1） 人臉檢測模塊

如同前面的 1.1所述，人臉檢測的方法采用的是基于Haar-like特征的Adaboost人臉檢測方法，該方法可以很好的將人臉圖像中的人臉位置進行定位。在LPFW數據庫中，我們挑選了部分樣本作為人臉檢測算法的輸入，得到的結果如圖6所示：

圖6 人臉檢測結果

（2） 局部二值特征回歸模塊

局部二值特征回歸模塊在在人臉檢測的基礎上，進行局部二值特征的提取，訓練以及預測，其中訓練的過程如圖7所示：

圖7 局部二值特征模型的訓練過程

得到模型后，通過級聯回歸的增量修正，最終得到人臉中的68個實際坐標點，圖8中為最終的結果。由圖中可以看出，局部二值特征算法對角度偏轉較大的圖像也同樣具有很好的魯棒性。

圖8 人臉特征點

（3）人臉姿態估計模塊

人臉姿態估計實現的條件之一是求得人臉特征點（眼鏡，嘴巴，鼻子等處的像素位置），其次是根據人臉特征點在圖像上的坐標，通過比例正交投影迭代的方法，最終得到人臉的翻轉角，偏航角以及俯仰角。圖9為人臉的姿態估計結果，人臉姿態的三個角度組成，分別為左右翻轉（roll），平面內旋轉（yaw），上下翻轉（pitch）已在圖像上標出。

圖9 人臉姿態估計結果

3 結論

該系統在VS2010開發環境下進行開發，對人臉對齊及人臉姿態識別具有很強的魯棒性，能識別各類人群，即使戴眼鏡或者眼鏡反光，系統識別仍然具有很高的準確率，同時有一定的抗臉側向的能力和抗臉傾斜識別能力，有較強的應用價值。

[1]X.P.Chen,Q.QYang,H.H,Liaoetal.Real-Time Face P-ose Estimate in Video Sequence[C].IEEE,Second International Workshop on Education Technology and Computer Science，2010.

[2]A.Narayanan,R.M.Kaimal,K.Bijlani. Yaw Estimation using Cylindrical and Ellipsoidal Face Models[J].IEEE,Transactions on Intelligent Transportation System，2014.

[3]FransensR,StrechaC,VanGoolL,Parametric Stereofor Multi-poseFaceRecognition and 3D-FaceModelling. Beijing,China，2005.

[4]尹寶才，張壯，孫艷豐等.基于三維形變模型的多姿態人臉識別.北京工業大學學報，2007.

[5]毋立芳，侯亞希等.基于緊致全姿態二值SIFT的人臉識別[J].儀器儀表學報，2015.

[6]周玲麗，賴劍煌.人臉特征的SIFT保護算法[J].中國圖象圖形學報，2011.

[7]張疆勤，廖海斌，李原.基于因子分析與稀疏表示的多姿態人臉識別[J].計算機工程與應用，2013.

[8]平強，莊連生，俞能海.姿態魯棒的分塊稀疏表示人臉識別算法[J].中國科學技術大學學報，2011.

[9]江偉堅，郭躬德，賴智銘. 基于新 Haar-like特征的Adaboost人臉檢測算法[J].山東大學學報(工學版)，2014.

[10]程科文.基于自適應三維人臉模型的實時頭部姿態估計[D].合肥市：合肥工業大學，2016.

[11]BELHUMEUR P,JACOBS D,KRIEGMAND,etal.Localization parts of faces using a consensus of exemplars[C]//Proceedings of the IEEE Conference on computer Vision and Pattern Recognition. Washington DC:IEEE，2011.

廣東省智能制造應用型人才協調育人基地（粵高教函[2016]31號）。