改進RCPR的人臉對齊方法

莫建文，彭　倜，袁　華，張　彤

(桂林電子科技大學 a.信息與通信學院；b.機電工程學院，廣西 桂林 541004)

?

改進RCPR的人臉對齊方法

莫建文a，彭倜a，袁華a，張彤b

(桂林電子科技大學 a.信息與通信學院；b.機電工程學院，廣西 桂林 541004)

在魯棒級聯位置回歸(RCPR)方法中，逐級迭代決策樹的結構單一，而且初始化形狀機制效率低和不精準。因而提出了一種改進RCPR的人臉對齊方法，采用隨機森林的級聯回歸，由逐級迭代決策樹轉成結構穩定的并行決策樹；同時在測試階段，采用直方圖統計的人臉形狀初始化機制，高效地實現了粗定位。改進的方法在多個數據庫中驗證了可行性，結果表明提出的算法在光照、表情變化、遮擋等情況下能夠保持很好的魯棒性，并且在精度、失敗率上都有較大的提高。

決策樹；人臉對齊；隨機森林；直方圖統計

(1)

式中：S=[x1,y1,…,xP,yP]T。P表示人臉關鍵點個數。最早Hill[1]等提出了主動形狀模型 (Active Shape Model，ASM )，文獻[1]能夠提取正面人臉的輪廓特征，達到很好的識別效果，但是該算法提取臉部特征時容易產生偏差，使得定位不準確，且迭代尋找最優解的度量函數單一，搜索范圍受到限制。隨著深度學習的發展，采用卷積神經網絡的方法進行人臉對齊也出現了，比如Sun[2]和Zhang[3]的人臉對齊方法，可以達到很好的對齊效果，

但是計算成本較大，模型參數過多。而Dollar[4]提出的雙層級聯位置回歸的人臉對齊算法，該方法采用級聯形式，進行位置擬合。緊接著Cao[5]提出了基于顯式形狀回歸(Explicit Shape Regression，ESR)的人臉對齊算法，該算法直接學習一個向量回歸函數從而代替整個人臉模型，有效克服了參數模型復雜的問題，具有很強的靈活性，但是該算法在表情變化、遮擋方面等情況下性能較低。針對遮擋問題，Dollar[6]提出魯棒的級聯姿態回歸(Robust Cascaded Pose Regression，RCPR)，該算法在文獻[4]的基礎上增加了對遮擋變化的處理以及特征的選擇等方面，增強了遮擋情況下人臉對齊方面的魯棒性，同時提出了一種技巧重置(Smart Restart)的初始化機制，這種雙層級聯回歸框架，第二層與第一層的訓練過程類似，均采用逐級迭代方式，其結構較為單一，同時Smart Restart機制效率較低。Vahid Kazemi[7]也采用了這種級聯回歸樹進行人臉對齊。

在魯棒級聯位置回歸(RCPR)方法中，逐級迭代決策樹的結構單一，而且初始化形狀機制效率低和不精準。本文提出了一種基于隨機森林[8]的級聯回歸器人臉對齊算法，隨機森林可以很好地解決多類多分類的問題，其基本思想是將很多弱分類器集成為一個強分類器，也容易實現并行計算，結構很穩定；同時結合了直方圖統計方法[9]以獲得最接近人臉目標形狀的初始化形狀，直方圖統計高效且實用。在LFPW[10]、COFW[6]自然場景數據庫上驗證了本文方法的配準效果。本算法在較大姿態、表情、遮擋條件下取得了優于傳統級聯回歸方法的對齊效果。

1　RCPR訓練框架以及初始化機制

Dollar[6]采用雙層級聯回歸方法應用于人臉對齊，級聯回歸器由T個回歸器(R1,…，Rt,…，RT)組成，給定一個初始化形狀S0，通過不斷迭代估計形狀，輸出最終的人臉形狀。人臉形狀S表示P個關鍵點坐標向量，其中Sp=[xp,yp]，p∈1，2,…，P。在每個回歸器Rt產生一個形狀增量δS，結合之前的估計形狀St-1，產生一個新的形狀St。

δS=Rt(xt)

(2)

進行人臉形狀的更新

St=St-1+δS

(3)

迭代T次后輸出最終的人臉形狀ST。

在測試階段，因為基于模型的人臉對齊方法對初始化人臉形狀較為敏感。現有的級聯回歸人臉對齊方法中對初始化有不同的機制，Cao[11]等平均形狀作為初始化形狀，而RCPR采用了Smart Restart機制，該機制在測試階段，同時給定M個初始化形狀，送入回歸器，執行級聯回歸過程的10%后，計算該M個形狀對應關鍵點坐標的方差var。將閾值記為Th，當var>Th時，則重新初始M個初始化形狀，重復以上過程；否則當var

RCPR采用的雙層級聯回歸結構對形狀進行從粗定位到細定位的逐級過程，同時所采用的Smart Restart形狀初始化機制，能減少失敗率。但是因第二層結構采用的是逐級迭代決策樹，其結構單一，同時初始化機制類似與“傻瓜式”的重復。存在效率低和不精準的問題。

Smart Restart機制流程(偽代碼)如下：

For t=1 to maxIter do

記Md={(mdx0,mdy0),…,(mdxP,mdyP)}

var=Mean(conf)//均值

Ifvar

Break；

End

End

輸出：Md //通過smart restart機制得到的形狀

2　改進的人臉對齊方法

針對第1節中RCPR的缺陷，本文從兩方面對RCPR進行相關改進。

第一，針對RCPR的結構單一導致的魯棒性不夠，在第二層回歸器中將逐級迭代的決策樹改成隨機森林。采用隨機森林的回歸器，具有無可比擬的分類精度和更強的魯棒性。

第二，針對測試階段所采用的Smart Restart初始化機制效率低和不精準的問題，本節基于隨機森林的回歸框架以及直方圖統計提出了一種新的初始化形狀機制。該機制能抑制異常點，同時能很好地對關鍵點進行粗定位。

2.1基于隨機森林的回歸框架

(4)

(5)

該級聯回歸算法(偽代碼)如下：

輸入：回歸器R1,…,T，初始形狀S0，圖像I，位置索引特征h1,…,T

For t=1 to T do

xt=ht(St-1,I) //計算索引特征

δScj=Rt(xt) //回歸器的輸出

的輸出(形狀增量δSk)

St=St-1+δSt//更新形狀

End

輸出：最后的估計形狀ST

2.2基于直方圖統計的初始化機制

1)對輸入的M個初始化形狀送入模型中，執行級聯回歸過程的10%。

3)對P個關鍵點，重復步驟2)。

本節改進的RCPR人臉對齊方法，結合隨機森林的級聯回歸結構，具有很強分類精度和魯棒性，同時采用的并行決策樹，提高了效率。在測試階段，結合直方圖統計的初始化機制，對噪聲具備魯棒性，同時能很好地對關鍵點進行粗定位。

3　實驗與結果分析

實驗1：本實驗在原始RCPR模型中僅改進了第二層級聯結構，實驗首先在COFW人臉庫中選取1 345幅人臉圖像作為訓練集，在COFW中選取剩下的507幅人臉圖像作為測試集，得到實驗結果如圖。對級聯回歸器的級數(T)以及每個森林所包含的決策樹數目(L)進行了分析，統計其對誤差的影響，其結果由表1所示。同時對平均誤差、失敗率、幀率進行了對比，結果見表2。

表1級聯回歸框架選擇對比

第一層級數(T)15102005002000并行決策樹數目(L)201210842平均誤差0.250.210.180.070.180.23

表2結合隨機森林的級聯回歸對平均誤差、失敗率、幀率對比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0727.5310

由表1可知，并行決策樹個數太少，結構較弱。當T取200、L取8時，結構最優，平均誤差最小。觀測表2，采用隨機森林結構，可以明顯增強回歸器的性能，但失敗率較大，因COFW數據集姿態、遮擋情況較多，對初始化形狀很敏感。

實驗2：本實驗在原始RCPR模型中僅改進了其初始化機制，測試數據集為COFW。得到實驗結果如圖1所示。

圖1　直方圖統計初始化機制示意圖

測試階段，給定M(本實驗為20)個初始化形狀，左圖僅顯示一個關鍵點(鼻尖處)，圓點為執行級聯回歸過程的10%后M個點的分布情況，通過本方法提出的直方圖統計初始化機制后，得到右邊圓點，作為后期鼻尖關鍵點處的坐標位置。由圖可知，本文初始化機制，能抑制異常點，同時能很好地對關鍵點進行粗定位。本文也對平均誤差、失敗率、幀率進行了對比，結果如表3所示。

表3平均誤差、失敗率、幀率對比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0617.368

由表可知，本文初始化機制在失敗率上明顯優于RCPR的初始化機制，同時減少了平均誤差。因采用直方圖統計的初始化機制，去除了“傻瓜式”重復機制，從而提高了幀率。

實驗3：改進的RCPR人臉對齊方法，測試數據集為COFW和LFPW。其中LFPW，首先利用Opencv自帶的人臉檢測方法(Viola-Jones檢測器)[12]對LFPW進行人臉檢測，最終只得到772張訓練圖片，217張測試圖片。

圖2和圖3(突顯關鍵點位置)標注點均為人臉對齊測試效果點。實驗挑選了遮擋、光照、姿態等情況的圖片，由圖可知，本文改進模型在光照、表情變化、遮擋等情況下對齊精度比ESR和RCPR模型高，驗證了本文所提出的改進模型更具普遍性，魯棒性更強。為了驗證提取算法的整體性能以及魯棒性，對平均誤差、失敗率、幀率進行了對比，如表4和表5所示。

圖2　COFW數據集測試效果圖

圖3　LFPW數據集測試效果圖

由表4～5可知，本文算法平均誤差得到很大的抑制，驗證該算法級聯框架的可行性。同時本文算法的失敗率大大降低，幀率和RCPR相比也有所增加，證明了初始化形狀機制的可行性。

表4在COFW上性能對比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0614.7811

表5在LFPW上性能對比

方法平均誤差失敗率/%幀率/(f·s-1)ESR0.1465.905RCPR0.1141.4713本文0.0924.8815

最后，對累積誤差曲線也進行了對比，如圖4所示。

圖4　累計誤差曲線圖

觀察圖4可知，在關鍵點誤差值同樣的條件下，關鍵集分值明顯高于ESR和RCPR，證明改進的RCPR在人臉關鍵點檢測方面性能更佳。

改進的RCPR方法已經成功地為人臉提取特征點，通過實驗可以看到，改進的RCPR方法從定位特征點的精度和運算成本上都有所提高。

5　結束語

本文針對RCPR算法的不足，提出了一種新的回歸器結構，同時對初始化機制進行了改進。本文在第一層采用迭代級聯的形式，每個回歸器訓練若干個并行的決策樹(隨機森林)，該回歸結構，具備很強的魯棒性和性能。測試階段，采用一種結合直方圖統計的初始化機制，提高了初始化效率和精度，同時減少人臉對齊的失敗率。后面在LFPW、COFW數據集上進行了實驗，驗證提出的算法在對齊精度和效率方面的性能。結果表明，所提算法在平均誤差性能有較大改善的同時，大大減少了失敗率，提高了幀率。

[1]HILLA，COOTESTF，TAYLORCJ.Activeshapemodelsandtheshapeapproximationproblem[J].Imageandvisioncomputing，1996，14(8)：601-607.

[2]SUNY，WANGX，TANGX.Deepconvolutionalnetworkcascadeforfacialpointdetection[C]//2013IEEEConferenceonComputerVisionandPatternRecognition(CVPR). [S.l.]:IEEE，2013：3476-3483.

[3]ZHANGZ，LUOP，LOYCC，etal.Faciallandmarkdetectionbydeepmulti-tasklearning[M]. [S.l.]:SpringerInternationalPublishing，2014.

[4]DOLLARP，WELINDERP，PERONAP.Cascadedposeregression[C]//CVPR2010.[S.l.]：IEEE，2010：16-27.

[5]CAOX，WEIY，WENF，etal.Facealignmentbyexplicitshaperegression[J].Internationaljournalofcomputervision，2014，107(2)：177-190.

[6]BURGOS-ARTIZZUXP，PERONAP，DOLLARP.Robustfacelandmarkestimationunderocclusion[C]//IEEEInternationalConferenceonComputerVision(ICCV) 2013. [S.l.]：IEEE，2013：1513-1520.

[7]KAZEMIV，SULLIVANJ.Onemillisecondfacealignmentwithanensembleofregressiontrees[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR) 2014. [S.l.]：IEEE，2014：1867-1874.

[8]LEOB.Randomforests[J].MaCHINElearning，2001(1)：56-60.

[9]GONZALEZRC.Digitalimageprocessing[M]. [S.l.]：PearsonEducationIndia， 2009.

[10]BELHUMEURPN，JACOBSDW，KRIEGMANDJ，etal.Localizingpartsoffacesusingaconsensusofexemplars[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2013，35(12)：2930-2940.

[11]RENS，CAOX，WEIY，etal.Facealignmentat3000fpsviaregressinglocalbinaryfeatures[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR) 2014. [S.l.]：IEEE，2014：1685-1692.

[12]VIOLAP，JONESM.Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition2001. [S.l.]：IEEE，2001：511-518.

責任編輯：時雯

Improved RCPR for face alignment method

MO Jianwena，PENG Tia，YUAN Huaa，ZHANG Tongb

(a.SchoolofInformationandCommunication；b.ElectromechanicalEngineeringCollege，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004,China)

In the robust cascade position regression (RCPR) method， the structure of the decision tree is single， and the efficiency of the initial shape mechanism is low and not accurate.This paper proposes an improved RCPR face alignment method.By using the cascade regression of random forests， the decision tree is transformed into a stable parallel decision tree. At the same time， face shape initialization mechanism with histogram statistics is adopted in the testing stage，so as to achieve efficient coarse positioning. Improved method in multiple database verifies the feasibility. The results show that proposed algorithm can keep good robustness in the light， expression and occlusion. The accuracy and the failure rate are greatly improved.

decision tree； face alignment； random forest；histogram statistics

TN911.73

A

10.16280/j.videoe.2016.09.006

國家自然科學基金項目(61362021);廣西自然科學基金項目(2013GXNSFDA019030;2014GXNSFDA118035);廣西科技創新能力與條件建設計劃項目(桂科能1598025-21)；桂林科技開發項目(20150103-6)；桂林電子科技大學研究生教育創新計劃項目(YJCXS201531)

2016-02-03

文獻引用格式：莫建文，彭倜，袁華，等.改進RCPR的人臉對齊方法[J].電視技術，2016，40(9)：31-35.

MO J W，PENG T，YUAN H，et al.Improved RCPR for face alignment method[J].Video engineering，2016,40(9)：31-35.