一種改進的三維局部約束模型初始化方法

許進文，趙啟軍，陳 虎

(四川大學 視覺合成圖形圖像技術國防重點學科實驗室，四川 成都 610065)

一種改進的三維局部約束模型初始化方法

許進文，趙啟軍，陳 虎

(四川大學 視覺合成圖形圖像技術國防重點學科實驗室，四川 成都 610065)

三維局部約束模型(3D Constrained Local Model，CLM-Z)算法，綜合利用灰度和深度信息檢測三維人臉數據中的特征點(如眼角、鼻尖和嘴角)，實現了較高的檢測精度。CLM-Z方法一般使用人臉位置和平均三維人臉模型進行初始化。設計了四個實驗定量地分析CLM-Z參數初始化對算法精度的影響：在BU-4DFE庫上評估CLM-Z算法精度；通過平移人臉邊界框擾動平移參數的初始值；通過縮放人臉邊界框擾動尺度參數的初始值；通過給定繞y軸和z軸的旋轉角擾動旋轉參數的初始值。實驗結果表明，CLM-Z算法可容忍平移擾動約為人臉寬的1/6，在(0.75,1.50)縮放范圍內算法精度不會下降，可容忍y軸和z軸旋轉角約20°。基于以上評估結果，進一步提出在紋理圖像上檢測特征點作為初始化，然后再進行CLM-Z迭代。在BU-4DFE數據庫上的評估結果證明，該初始化方法能有效提升CLM-Z方法的特征點定位精度。

三維人臉特征點定位；三維局部約束模型；初始化；魯棒級聯姿態回歸

0 引 言

人臉特征點檢測是人臉識別[1-4]、表情分析[5-6]、人臉動畫[7]等一個關鍵的中間步驟。由于光照、姿態、遮擋、表情等因素的影響，人臉特征點檢測成為一個充滿挑戰的研究課題。為了解決這一問題，學術界做出了很多有價值的嘗試，提出了不少方法，其中包括CLM(Constrained Local Model)[8]和它之后的各種擴展模型[9-10]。這些方法均構建于人臉檢測之上，但是沒有評估人臉檢測誤差對特征點定位結果的影響。

Baltru?aitis等提出的CLM-Z算法[10]，綜合利用灰度和深度信息檢測三維人臉上的特征點，其優勢在于引入深度信息不僅可以降低光照變化的影響，而且還能減少孔徑問題的干擾。初始化是應用CLM-Z的一個關鍵過程，涉及4個參數[s,R,q,t]。其中，[s,t]的初始化依賴于所使用的人臉檢測器[11]得到的人臉位置，而且人臉檢測偏差普遍存在于現實應用中。因此，文中認為研究初始化改變對CLM-Z檢測精度的影響很有必要。

文中通過平移和縮放人臉邊界框改變參數[s,t]的初始值，通過給定繞y軸和z軸的旋轉角改變參數R的初始值，在BU-4DFE數據庫[12]上系統地評估初始化對CLM-Z精度的影響和CLM-Z對初始化擾動的魯棒性。基于以上評估結果，進一步提出使用RCPR[13]在灰度圖上檢測結果的近似值初始化CLM-Z的參數[s,t]，使得這些特征點的初始位置更接近其真實值，達到提升CLM-Z檢測精度的目的。

1 CLM-Z方法

CLM-Z方法的思想是將灰度和深度信息結合起來應用于人臉特征點檢測，該模型可以使用參數集p=[s,R,q,t]來描述。其中，s表示縮放因子；R表示旋轉矩陣；t表示二維平移量；q表示人臉形狀的非剛性變化參數。模型表達式如下：

(1)

CLM-Z擬合目標的概率表達式如下：

(2)

1.1 Patch Experts

PatchExperts的作用是計算以人臉特征點為中心的周圍鄰域的響應圖，Patch Experts可以選用距離矩陣(如馬氏距離)、分類器(如線性支持向量機)或者回歸器。CLM-Z選用基于分類器的Patch Experts，表達式為：

P(li|xi,I,Z)=0.5×(P(li|xi,I)+P(li|xi,Z))

(3)

其中

(4)

(5)

(6)

(7)

1.2 初始化方法

參數初始化是應用CLM-Z的必要步驟，該方法的初始化過程構建于人臉檢測結果之上，如下：

R=E

2 初始化對CLM-Z精度影響的評估

2.1 實驗數據集

文中選用包含101個對象的BU-4DFE數據庫，每個對象有6種基本表情：生氣、厭惡、害怕、快樂、悲傷以及驚訝。每個表情序列擁有約100幀三維模型以及83個特征點的三維真實位置。由于CLM-Z算法的輸入是成對的具有像素級對應關系的灰度和深度圖像，因此需要對庫中的數據進行預處理。首先，間隔20幀選取三維模型，讀取并輸出每個三維模型對應的灰度圖和深度圖。然后，記錄紋理和深度有效的位置，得到新的紋理圖和深度圖(如圖1所示)，以及預處理后所有特征點的二維真實位置。因為CLM-Z方法使用66個特征點，所以評估實驗將在兩個特征點集的交集上進行。圖1中灰度圖展示了文中使用的20個特征點及其序號，并定義8個白點為關鍵特征點，初始化改進實驗將在8個關鍵特征點上進行。

圖1 預處理后的灰度圖和深度圖以及20個

2.2 評估指標

計算每個特征點自動檢測得到的坐標與二維真實位置之間的歐氏距離，并使用內眼角距離歸一化，稱作平均歸一化擬合誤差(簡稱MNFE)：

(8)

2.3 參數t初始化對CLM-Z檢測精度影響的評估

為了定量地評估參數t產生的影響，將通過沿x軸和y軸平移人臉邊界框來擾動參數t的初始值，平移范圍是(-30,+30)像素，平移步長是10像素。圖2(a)展示了沿x軸和y軸分別平移-30像素的情形，結果如表1所示。

假定將CLM-Z使用的人臉檢測器[11]返回的人臉區域看作人臉位置的真實值，那么CLM-Z算法能夠容忍的人臉邊界框偏離范圍大約是人臉大小的1/6，如果偏離誤差更大，將會導致CLM-Z的檢測精度下降。

2.4 參數s初始化對CLM-Z檢測精度影響的評估

為了定量地評估參數s初始化擾動對CLM-Z檢測精度的影響，將通過縮放人臉邊界框來擾動參數s，縮放比例是(0.5,2)，縮放步長是0.05。

表1 在伴有平移參數初始化擾動的情況下

圖2為參數初始化擾動示例。

(a)將人臉(黑框)沿x軸和y軸分別平移-30像素(白框)

(b)將人臉(黑框)縮小到原始的0.75倍(白框)

(c)將初始位置(黑點)繞z軸旋轉15o(白點)

圖3展示了參數s初始值改變對CLM-Z算法擬合精度的影響。

圖3 尺度參數初始化擾動對CLM-Z檢測精度的影響

由圖3可以看出，將原始人臉邊界框的寬和高縮小至原來的0.75倍以下，所有特征點MNFE的平均值將會逐漸增大，誤差增大幅度也會加大；而將原始人臉邊界框的寬和高逐漸放大，直至1.5倍，CLM-Z算法的精度都幾乎沒有受到影響。但是，當放大比例超過1.5倍時，擬合誤差將會再次增大，檢測精度的下降速度逐漸加快。這主要是因為當人臉邊界框的寬和高縮小至原來的0.5倍時，所有特征點的初始位置變得更接近，CLM-Z算法區分出人臉不同部位的難度將會更大；同樣地，當人臉邊界框的寬和高放大倍數超過1.5倍時，人臉邊界框將不同程度地越過圖像邊界，使得特征點的初始位置偏離圖像過遠，最終導致擬合誤差變大。

由實驗可知，CLM-Z算法在(0.75,1.5)縮放范圍內擬合精度穩定，這也說明了它對參數s的初始化擾動具有較強的魯棒性。

2.5 參數R初始化對CLM-Z檢測精度影響的評估

設計該實驗的目的是明確參數R初始化對CLM-Z算法精度的影響。CLM-Z的旋轉矩陣R與變量orientation一一對應。傳統CLM-Z初始化參數R為單位矩陣，即orientation=[0;0;0]，三個0分別表示繞x軸、y軸以及z軸的旋轉角。文中將在初始化R時，給定繞y軸和z軸的旋轉角，旋轉范圍是(-30o,+30o)，旋轉步長是10o。圖2(c)為參數R初始化為單位矩陣和繞z軸旋轉15o的特征點初始位置的示例，評估結果如表2所示。

表2 在伴有旋轉參數初始化擾動的情況下，

由表2可知，給定y軸旋轉[-10o,+10o]同時z軸旋轉[-20o,+20o]，對CLM-Z的精度幾乎不會產生影響；在z軸[-10o,+10o]范圍內，將y軸的旋轉角擴展至[-20o,+20o]也沒有導致CLM-Z精度的下降。而在y=±30°，z軸在[-30o,+30o]范圍內，CLM-Z算法都呈現出較高的擬合誤差。

3 初始化方法的改進

文中將利用與圖1中8個關鍵特征點對應的CLM-Z參數(稱8點CLM-Z)進行測試，評估實驗結果，并與原始CLM-Z(稱66點CLM-Z)的8個關鍵特征點的檢測精度進行比較，對比結果見表3。使用66點CLM-Z檢測人臉特征點時，其中8個關鍵特征點的擬合誤差遠遠低于使用8點CLM-Z時的誤差，即當模型特征點數減少時，CLM-Z算法的檢測精度也隨之下降，這很可能是因為特征點數的減少使有價值的相對位置信息減少，并且人臉的全局幾何約束和各人臉部位上特征點的交互也無法得到充分利用[14]。

表3 關鍵特征點的MNFE比較

因此基于上述實驗對初始化影響的評估結果，文中進一步提出使用RCPR[13]在灰度圖上檢測29個特征點，然后提取其中8個關鍵特征點的檢測結果,并用其近似值初始化8點CLM-Z的參數[s,t]以使特征點的初始位置更接近其真實值。當分別使用兩種初始化方法時，8個關鍵特征點初始位置偏離其真實值的歸一化距離見表4。緊接著評估在使用文中提出的初始化方法后8點CLM-Z的檢測誤差，并與使用傳統初始化方法時的誤差作比較，如表5所示。

表4 使用不同初始化方法時每個關鍵特征點

表5 使用不同初始化方法時的檢測誤差比較

從表4、5可以看出，當使用文中提出的初始化方法時，8點CLM-Z在序號1、4、12以及18上的擬合誤差盡管略高于初始化的誤差，但是總體來說，所有特征點MNFE的平均值比初始化誤差的平均值降低了0.03。更重要的是，8點CLM-Z使用文中提出的初始化方法后總體誤差比使用原始初始化方法降低0.47，可見文中提出的初始化方法能夠顯著提升8點CLM-Z的檢測精度，這也充分證明了該方法的有效性。

4 結束語

在BU-4DFE數據庫上系統地評估了CLM-Z模型對參數初始化誤差的敏感程度，詳細地評估了原始CLM-Z算法的檢測精度，并將其作為后續實驗的對比基準，緊接著通過三個實驗定量地評估了參數初始化對CLM-Z算法精確度的影響。基于實驗對初始化影響的評估結果，進一步提出采用RCPR檢測結果的近似值初始化CLM-Z參數的方法，實驗結果證明該方法能夠有效提升CLM-Z的檢測精度。

[1] 謝文浩,翟素蘭.基于加權稀疏近鄰表示的人臉識別[J].計算機技術與發展,2016,26(2):22-25.

[2] 祝 磊,朱善安.基于二維廣義主成分分析的人臉識別[J].浙江大學學報：工學版,2007,41(2):264-267.

[3] 孔萬增,朱善安.基于正交補空間的人臉識別[J].浙江大學學報：工學版,2008,42(4):571-573.

[4] 趙武鋒,嚴曉浪.基于多尺度梯度角和SVM的正面人臉識別方法[J].浙江大學學報：工學版,2008,42(4):590-592.

[5] 李文書,何芳芳,錢沄濤,等.基于Adaboost-高斯過程分類的人臉表情識別[J].浙江大學學報:工學版,2012,46(1):79-83.

[6] 高 文,金 輝.面部表情圖像的分析與識別[J].計算機學報,1997,20(9):782-789.

[7] 姜大龍,高 文,王兆其,等.面向紋理特征的真實感三維人臉動畫方法[J].計算機學報,2004,27(6):750-757.

[8]CristinacceD,CootesTF.Featuredetectionandtrackingwithconstrainedlocalmodels[C]//Britishmachinevisionconference.[s.l.]:[s.n.],2006:929-938.

[9]GuL,KanadeT.Agenerativeshaperegularizationmodelforrobustfacealignment[C]//Europeanconferenceoncomputervision.Berlin:Springer,2008:413-426.

[10]Baltru?aitisT,RobinsonP,MorencyLP.3Dconstrainedlocalmodelforrigidandnon-rigidfacialtracking[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2610-2617.

[11]ZhuX,RamananD.Facedetection,poseestimation,andlandmarklocalizationinthewild[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2879-2886.

[12]YinL,ChenX,SunY,etal.Ahigh-resolution3Ddynamicfacialexpressiondatabase[C]//8thIEEEinternationalconferenceonautomaticface&gesturerecognition.Amsterdam:IEEE,2008:1-6.

[13]Burgos-ArtizzuXP,PeronaP,DollárP.Robustfacelandmarkestimationunderocclusion[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.Sydney:IEEE,2013:1513-1520.

[14]ZhouE,FanH,CaoZ,etal.Extensivefaciallandmarklocalizationwithcoarse-to-fineconvolutionalnetworkcascade[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervisionworkshops.Sydney:IEEE,2013:386-391.

An Improved Initialization Method for 3D Constrained Local Model

XU Jin-wen,ZHAO Qi-jun,CHEN Hu

(National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University, Chengdu 610065,China)

3D Constrained Local Model (CLM-Z) achieves high accuracy in detecting 3D facial landmarks (e.g., eye corners,nose tip and mouth corners) via taking full advantage of both intensity and depth information.CLM-Z is conventionally initialized based on the location of face and mean 3D facial model.The effect of CLM-Z initialization on detection accuracy is evaluated quantitively by carrying out the following experiments:assessing the accuracy of CLM-Z with the conventional initialization method on the BU-4DFE database,translating the face to perturb the initial value of translation parameter,varying the size of detected face to perturb the initial value of scale parameter,varying the rotation angles around y-axis and z-axis to perturb the initial value of rotation parameter.Experimental results show that CLM-Z can tolerate translations up to approximately 1/6of the width of the face,scalings between 0.75 and 1.50,and rotations within 20 degrees.Based on the above evaluation results,a novel initialization method is proposed further that exploits facial landmarks detected firstly on 2D texture images.Experiments on the BU-4DFE database show that the proposed initialization method can successfully improve the 3D landmark localization accuracy of CLM-Z approach.

3D facial landmark localization;3D Constrained Local Model (CLM-Z);initialization;Robust Cascaded Pose Regression (RCPR)

2016-03-18

2016-06-22

時間：2017-01-04

國家自然科學基金資助項目(61202160，61202161)；科技部重大儀器專項(2013YQ49087904)

許進文(1992-)，女，碩士生，研究方向為三維人臉特征點檢測；趙啟軍，副教授，碩士生導師，研究方向為模式識別、機器學習以及計算機視覺等；陳 虎，講師，碩士生導師，研究方向為模式識別、圖像處理等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1102.090.html

TP

A

1673-629X(2017)01-0030-04

10.3969/j.issn.1673-629X.2017.01.007