三維人臉建模及在跨姿態人臉匹配中的有效性驗證

李昕昕，龔 勛

(1.四川大學錦城學院 計算機科學與軟件工程系，成都 611731； 2.西南交通大學 信息科學與技術學院，成都 610031)

(*通信作者電子郵箱gongxun@foxmail.com)

三維人臉建模及在跨姿態人臉匹配中的有效性驗證

李昕昕1，龔 勛2*

(1.四川大學錦城學院 計算機科學與軟件工程系，成都 611731； 2.西南交通大學 信息科學與技術學院，成都 610031)

(*通信作者電子郵箱gongxun@foxmail.com)

針對現有三維人臉采集技術對采集場景存在諸多限制，提出了自由場景下基于多張圖像的三維人臉建模技術，并對其進行了有效性驗證。首先，提出一個姿態及深度值迭代計算模型，實現了特征點深度值的準確估計；然后，進行了基于多張圖像的深度值融合及整體形狀建模；最后，將深度迭代優化算法(IPDO)與目前最優的非線性最小二乘法(NLS1_SR)在Bosphorus Database數據集上進行了對比，建模精度提高了9%，所重建的三維人臉模型投影圖像與二維圖像具有較高的相似度。實驗結果表明，在大姿態變化條件下，該識別算法借助三維信息相較于未借助的情況下，其識別率可以提高50%以上。

三維人臉;人臉建模;人臉識別;多姿態;跨模態

0 引言

作為公共安全的重要保障,監控視頻數量迅速增長，如何有效、智能處理視頻圖像大數據是建設安全、智能型城市的重要保障，其中面部圖像是最重要的監控對象。因受到成像條件以及小樣本問題的制約,面向海量人臉數據的自動人臉識別技術在公共安防領域還鮮有重大成功案例,最先進的自動人臉識別算法在類似美國波士頓馬拉松爆炸案的恐怖案件調查過程中亦未能發揮效用。人臉識別專家Rowden等[1]于2014年進行了關于人類與機器視覺在人臉識別問題上性能的對比研究,成果表明在戶外自由、非可控場景中,當前最先進、基于圖像的人臉識別技術/系統仍無法達到人眼辨識水平。

由于人臉天然具有三維形狀,直觀上基于三維人臉數據的識別是解決姿態問題行之有效的手段,學者采用三維面部法向量在人臉識別大挑戰(Face Recognition Grand Challenge, FRGCv2)三維人臉數據集[2]上獲得了99.6%的準確率[3],驗證了高質量三維人臉數據在人臉識別問題上的有效性。但是現有三維人臉采集技術對距離、運動速度、環境光照均有嚴格要求,并不適用于自由場景下的人臉采集,因此非用戶配合的三維人臉識別從技術上還很難實現。圖1展示了一個可行的方案(簡稱方案1),即后臺原型數據集(Gallery)采用三維人臉數據,前端測試集(Probe)依然采用二維圖像,實現“2D/3D”的跨模態識別,以解決訓練數據集的小樣本問題,這類跨模態人臉識別研究剛起步；另一常見的方案(簡稱方案2)是后臺Gallery與Probe均是二維圖像,對Gallery中的人臉圖像進行三維重建,利用三維信息克服緩解姿態變化。方案2的優勢是便于現有人臉識別系統的改進,且不需要額外硬件輔助。針對當前三維采集設備并未廣泛使用的情況，本文旨在研究基于圖像的三維人臉建模技術,并針對三維模型用于人臉識別的有效性進行評估。

Yi等[4]將采用方案2的方法進一步分為4類:1)虛擬正面合成；2)多姿態投影；3)模型參數擬合；4)姿態自適應濾波。其中基于圖像的三維人臉建模是這類方法一個關鍵問題,是本文的研究內容。

圖1 2D/3D跨模態及基于三維重建的2D/2D人臉識別方案對比

Blanz等[5]提出的三維形變模型(3D Morphable Model, 3DMM)在三維人臉建模技術發展歷上具有里程碑意義。對3DMM的優化、改進也成為了該領域的一個熱點問題:學者們分別從提高建模效率[6]、融入表情因素[7]、建立完整頭部模型[8]等角度對3DMM進一步完善和發展。為了簡化優化過程，龔勛等[9]提出了基于特征點的算法，實現了采用單張圖像、快速的人臉建模。

近年，Kemelmacher-Shlizerman等[10]基于人臉近似朗伯(Lambertain)凸表面的假設,利用球面諧波和一個三維人臉參考模型實現了單張人臉圖像的建模,并進一步用互聯網圖片[11]和視頻[12]作為訓練集恢復人臉形狀,但參考模型的選擇對建模結果有一定影響。

從運動恢復結構(Structure From Motion, SFM)是三維重建的主流方法,近年在人臉建模方面取得了持續性的研究進展。Lin等[13]利用5張相差近45°的圖像,實現了大范圍變化下高精度的人臉建模,但需要建模對象的配合; Gonzalez-Mora等[14]在SFM算法中引入線性人臉模型作為先驗知識,以提高在噪聲、丟失信息情況下系統的魯棒性。還有一些專家通過多張圖像匹配點的對應關系建立方程組,并用非線性最小二乘法求解關鍵點的深度值。

本文在基于特征點的形變統計模型[15]的基礎上,在SFM框架下實現多張圖像的三維人臉建模,旨在進一步提高特征點的深度值估計精度。

1 基于圖像的三維人臉形狀建模

本文人臉建模思路采用兩步人臉建模(Two-Step Face Modeling, TSFM)方案[16]實現從粗到精的形狀建模。

第1步 計算特征點的類三維坐標(Quasi-3D,Q-3D),(將其稱之為類三維坐標是因為其坐標值是估計值)給定1張近正面人臉圖像I0和n張非正面圖像(I1,I2,…,In),通過計算特征點的深度值,由已知的二維坐標與深度估計值組合以獲得Q-3D坐標。

第2步 將Q-3D特征點輸入形變算法擬合整體形狀,實現面部形狀整體建模。

1.1 基于兩張圖像的特征點深度值估計

在輸入一張圖像的情況下,Gong等[15]提出了基于稀疏線性模型的優化(SparseLinearModelbasedOptimization,SLMO)算法,把所有特征點看成一個整體,然后利用訓練庫中的先驗知識對缺失的特征點的坐標進行整體估計。本節將SLMO結合新的優化算法以提高深度值估計精度。

(1)

(2)

其中,pk=(xk,yk)T,qk=(uk,vk)T分別是I0和Ii上的第k個特征點。

(3)

(4)

算法1 兩步深度值估計TSE算法。

步驟1 采用SLMO從I0計算特征點深度值的初始值z0。

步驟2

a)將特征點的深度值z0固定,首先利用式(4)優化旋轉、平移參數和縮放因子,得到ω0、t0和σ0。

b)固定ω0、t0和σ0,通過求解式(4)計算特征點的z坐標值。

1.2 姿態與深度迭代優化算法

從成像模型(3)可以看出,姿態參數ω與深度值z二者相互影響，TSE算法采用了分步估計的策略。精確的姿態旋轉角度能夠進一步提高深度值計算精度。盡管通過估計算法無法獲得絕對精確的角度值，但通過算法優化能夠進一步提高旋轉角的精度,進而獲得一個折中的估計結果。另一方面，由于姿態參數ω與深度值z相互影響,要提高ω的估計精度,就需要更精確的深度值z。基于這一思路,本文提出將算法1變形為一個迭代方式,即姿態與深度迭代優化(IterativePoseandDepthOptimization,IPDO)算法,歸納如下。

算法2 姿態與深度迭代優化IPDO算法。

步驟1 采用SLMO從I0計算特征點深度值的初始值z0,初值化循環指示器i=0。

步驟2

a)將特征點的深度值zi固定,首先利用式(4)優化旋轉、平移參數和縮放因子,得到ωi、ti和σi。

1.3 基于多張圖像的深度值融合及整體形變

IPDO算法解決了1張正面圖像和1張非正面圖像的深度值估計,當輸入n(>1)張非正面人臉圖像時,將其與正面圖像結合,可以為每個特征點計算得到n個深度值,采用平均值是一個常用的策略,但當數據量不大時(通常n∈[0,5])容易受到噪聲的影響,本文采用正態分布假設去除離群點。

(5)

(6)

基于特征點的Q-3D坐標,采用徑向基函數(RadialBasisFunction,RBF)通過調整平均人臉模型實現模型形變,獲得最終的三維人臉模型。

2 基于投影及相似度分析三維信息有效性評價

為了客觀評價三維人臉信息(既包括采集的高精度三維人臉,也包括重建的三維人臉)在跨姿態條件下人臉識別的有效性,本文將設計兩者方案對其進行評價,并客觀比較方案1(采用真實三維人臉模型)與方案2(采用的重建三維人臉模型)在人臉識別中的性能差異。鑒于本文的重點并非研究人臉識別涉及的特征提取、分類等問題,本章將以面部圖像相似度度量為手段,從如下3方面對三維人臉信息進行評測。

1)重建的三維人臉模型的精度評價。

由于三維人臉庫中通過硬件設備采集的三維人臉模型作為人臉形狀的真實值(GroundTruth)。真實三維人臉形狀模型以及重建形狀模型分別生成深度圖,最后比較二者的差異。

2)相似度S1和S2的比較。

對于輸入的二維圖像,首先估計其旋轉角,然后將重建的三維人臉模型和真實三維人臉模型按照相應的角度進行投影,然后計算投影圖與原始圖像的相似度，分別用S1和S2表示。

3)三維人臉模型在跨姿態人臉識別中的作用。

在2)的基礎上,采用人臉識別特征提取算法對三維模型投影圖進行特征分析,然后進行閉集人臉識別測試,并與采用正面人臉圖像的識別率進行對比,以驗證三維信息在輔助人臉識別中的作用。特征提取采用局部相關分析匹配(LocalCorrelationMatching,LCM)算法[20]。

3 實驗結果及分析

本文實驗在CPU：Inteli7 2.7GHz，內存4GB，操作系統：Windows10的筆記本電腦上進行。

3.1 測試數據集

為了驗證文中提出深度估計算法的精度,在兩個三維人臉數據集上進行實驗,三維數據庫中的人臉模型為特征點深度估計、三維人臉建模提供了用于對比的真實值(GroundTruth)。另外在二維人臉數據庫IMM_Face[21]和FERET[22]上進行三維人臉建模,針對FERET中8個不同姿態子集進行了識別測試以驗證三維信息。采用的兩個三維人臉數據庫如下。

1)SWJTU-HFDB多模人臉數據庫。

針對跨模態、多模人臉識別等應用場景,本文采集了一個西南交通大學多模數據庫(SouthwestJiaotongUniversity-HybridFaceDatabase,SWJTU-HFDB),包含同一個人4種不同模態數據:1)二維高分辨率圖像(用數碼相機采集);2)二維低分辨率圖像(用監控攝像頭采集);3)三維高精度人臉模型(用結構光設備采集);4)三維低精度人臉模型(用Kinect采集)。其中三維高精度人臉子集同時包含采集三維點云數據和紋理圖像,共450個人臉模型,每個三維人臉模型均標定了76個特征點,是本文測試用到的數據集,下文簡稱SWJTU-3D數據集。

2)Bosphorus(BS)Database三維人臉數據庫。

BS數據集[23]包括105個西方人,共4 652個人臉模型。每個模型具有22個手動標注的特征點。數據通過商業結構光采集設備InspeckMegaCapturorII3D采集,同時采集了三維模型和紋理圖像,其中三維模型包括約35 000個頂點,二維紋理圖像分辨率為1 600×1 200。

3.2 深度值估計精度驗證

為了量化評估文中提出的TSE和IPDO特征點深度估計的性能,本文將SWJTU-3D數據集中的正面人臉模型劃分為訓練集和測試集,每個集合包含225個模型。基于訓練集合,生成一個平均人臉模型。為了驗證不同姿態下的圖像的估計效果,用三維模型投影生成了6種姿態的二維圖像,分別為(10,10,0),(10,20,0),(10,30,0),(20,10,0),(20,20,0),(30,30,0)。

以三維人臉數據庫中三維人臉的特征點深度值為基準,采用兩個量化評估標準，如下所示。

(7)

(8)

2)將所有特征點特征值組成向量,計算相關系數c(zg,ze)[19]作為相似度對比：

(9)

首先,驗證TSE、IPDO算法在6種不同姿態投影圖像上的深度值估計精度。如前文所述,本文方法與現有方法如非線性最小二乘(NonlinearLeast-Squares，NLS)[19]算法的主要區別在于初始值的設置,TSE采用SLMO估計的值進行初始化,而NLS采用平均人臉上對應特征點的深度值。用NLS-like來表示用TSE的方法進行優化,但采用與NLS類似的初始化方法——采用平均人臉上的特征點深度值。如表1所示,可以看到,不同角度對估計結果有一定的影響,但總體上波動不大,TSE由于采用了較準確的初始值,結果要優于NLS-like算法,能夠獲得1.5mm以下的估計誤差,而IPDO算法能夠獲得1.27mm的平均估計誤差。另外,所有估計算法均優于直接采用平均人臉模型(見Generic數據)。本實驗結果驗證了本文的算法能夠有效地提高重建三維模型在軸方向的精度。

表1 不同角度下圖像的深度值估計對比mm

Tab.1Comparisonofdepthvalueestimationusingdifferentposesmm

算法人臉姿態角/(°)(10，10，0)(10，20，0)(10，30，0)(20，10，0)(20，20，0)(30，30，0)均值Generic2．602．602．602．602．602．602．60NLS?like1．681．641．581．771．691．611．66TSE1．531．451．351．581．451．401．46IPDO1．441．211．041．441．321．151．27注：括號里是分別繞X，Y，Z軸旋轉的角度。

為了與現有深度估計算法通用模型算法(GeneticAlgorithm，GA)[18]、非線性最小二乘法(NonlinearLeast-SquaresModelwithSymmetryandRegularizationterms,NLS1_SR)[14]進行客觀對比,在BS數據集上進行實驗。與對比文獻保持一致,用一張正面人臉和一張側面人臉圖像進行估計測試,其中側面人臉圖像分別來自5個不同的子集(P_R_D,P_R_SD,P_R_SU,PR_U,YR_R10),對比結果如表2所示(其中：μ表示均值，std表示方差),可以看到,TSE與IPDO對于不同子集均具有魯棒性,其性能優于GA和NLS1_SR算法,說明本文提出的方法性能穩定,可為后續進行整體三維建模提供條件。

表2 在BS數據集上不同姿態角下深度值估計精度的對比

為驗證1.3節所提出的基于多張圖像的深度值融合策略的效果,在BS數據集上進行了測試,結果如圖2所示,可以看到不同算法采用多張圖像均能夠有效提高估計效果,同樣地,IPDO能夠獲得最優的結果,本文提出的兩個估計算法均優于NLS算法。算法運行時間對比如表3(表3中，NLS2為兩步優化的非線性最小二乘(two-step optimization of Nonlinear Least-Squares)),可以看到在沒有進行代碼優化的情況下,TSE和IPDO能夠具有較高的運行效率。

如1.2節所述,圖像旋轉角度估計會影響到深度值估計,進一步測試了TSE和IPDO在X、Y、Z三個方向上旋轉角的估計誤差,結果如圖3所示,可以看到由于IPDO進行了迭代,角度估計的平均誤差和方差均小于TSE算法,從而也驗證了迭代的有效性。

圖2 不同算法采用多張圖像的深度估計誤差

表3 算法運行時間(CPU 2.7 GHz, MEM 4 GB)

Tab.3 Time costs of different methods (CPU 2.7 GHz, MEM 4 GB)

M算法時間/sM算法時間/sGA50．09SLMO0．03NLS1＿SR0．10TSE0．53NLS23．00IPDO1．72

圖3 角度估計平均誤差及方差

3.3 三維人臉重建及三維信息在多姿態人臉匹配中的作用

3.3.1 三維人臉重建性能

圖4展示了3組真實人臉照片的重建結果:分別來自公開庫IMM_Face(Informatics and Mathematical Modelling Face)[21]、FERET(The Facial Recognition Technology)[22]和BS(Bosphorus Database)[23]。左側是輸入的三維人臉照片,右側是重建的三維人臉正面、側面圖,以及相應的幾何模型。通過這些重建結果,可以看到本文算法能夠還原出準確度高的人臉形狀以及逼真的三維人臉模型。

另一方面,為了量化本文重建的三維人臉模型的精度,采用第2章的評價方案1,對BS數據庫的紋理圖像進行重建,并與該數據庫的三維人臉模型進行深度圖對比。基于深度圖像的相似度對比結果如表4,可以看到與平均模型、SRSD算法[24]、Heo等[25]的算法相比,本文IPDO+RBFs的重建結果相似度最高。

圖4 基于三維圖像的三維人臉重建效果

表4 不同算法的深度圖相似度比較

Tab.4 Comparison of similarity of depth image with different methods

算法相關系數均值相關系數方差平均模型0．8844550．056175HEO等算法[25?0．8952080．044480SRSD[24?0．8938400．049134IPDO+RBFs0．9075200．036890

3.3.2 基于三維人臉投影的多姿態人臉匹配

本節將采用第2章提出的評價方案2來驗證三維人臉模型精度對人臉識別性能的影響。實驗數據采用BS人臉集的5個子集(PR_D、PR_SD、PR_SU、PR_U和YR_R10)，子集的介紹請參考文獻[23]。對于輸入的二維圖像,首先估計其旋轉角,分別用3種三維模型(真實三維人臉模型、重建的人臉模型和平均人臉模型)按照根據該圖像姿態進行投影,然后計算投影圖像與二維圖像之間的相似度,比較結果如圖5所示,結果表明重建的三維模型與平均模型的投影圖與原始二維圖像具有非常高的相似度,相反,真實的三維人臉投影相似度卻反而低于重建的三維模型。這一實驗結果表明,二維人臉識別更加注重圖像外觀特征,真實三維人臉雖然有很好的深度信息,但是紋理效果通常不如重建的人臉模型光滑。因存在毛刺或者不平滑現象而導致投影圖與二維圖像的相似度不高,這一結果表明:針對二維人臉識別應用,用于提供空間輔助信息的三維模型的準確性對于識別效果影響不大,紋理圖像與對比圖像的一致性更重要。

圖5 不同三維模型下二維圖像之間相似度比較(BS數據庫)

如第2章提出的評價方案3所述,為了驗證重建的三維人臉模型對于大姿態角度變化下的人臉識別作用,本文對FERET數據庫[22]中8個不同子集(分別是bb,bc,bd,be,bf,bg,bh,bi,角度從-60°到+60°之間變化)進行識別測試,特征提取算法采用LGXP[26]和LCM[20],分類采用最近鄰,人臉圖像尺寸歸一化到64×64,采用傳統基于瞳孔位置的尺度歸一化方法，測試三種了Gallery構建方式下的人臉識別率。

1)根據測試子集的角度,將重建的三維人臉模型進行投影,構建Gallery,用“3D-rec”表示;

2)根據測試子集的角度,借助平均三維模型將正面圖像合成相應角度的圖像,構建Gallery,用“3D-avg”表示;

3)直接采用正面人臉圖像,用“2D”表示。

實驗結果如圖6所示,可以看到曲線趨勢有力地說明了利用三維模型相對直接采用正面圖像可以大幅提高識別率,另一方面,采用重建的三維人臉相對直接使用平均人臉模型也可以提高識別率,這就驗證了本文三維重建的有效性。圖中表明LGXP和LCM在大角度情況下識別率并不高,主要原因如下。

1)簡單地采用與正面圖像一致的尺寸歸一化方法,即將瞳孔間距歸一化到相同尺度,通常對于正臉或者小姿態角的人臉圖像有效,并不適用于對于大姿態角下的人臉匹配。

2)僅采用特征提取和最近鄰分類,未進行訓練,導致鑒別性能不足。

圖6 基于三維模型的多姿態二維人臉識別率(FERET數據庫)

以上兩方面工作是跨姿態人臉識別研究的重點研究內容,而本文旨在驗證三維信息對于姿態變化的有效性,故并未對以上兩個問題進行深入研究。

4 結語

本文主要研究基于圖像實現人臉特征點深度值的精確計算,進而實現真實感的三維人臉建模,為人臉識別解決跨姿態問題奠定基礎。基于圖像的三維關鍵點重構分為姿態角估計及深度值估計兩部分,二者相互影響。現有方法通常將其融合在一起統一計算導致深度值估計精度低,本文提出一個姿態及深度值迭代計算模型,實現了高精度的特征點深度值估計。進一步研究了多組深度值融合及整體形狀建模。實驗結果表明,重建的三維人臉形狀接近真實模型,其投影圖像與二維圖像具有較高的相似度,驗證了本文重建的三維人臉模型投影圖像與二維圖像具有較高的相似度,為下一步研究大姿態變化條件下人臉識別提供了有效手段。

References)

[1] ROWDEN L B, BISHT S, KLONTZ J C, et al.Unconstrained face recognition: establishing baseline human performance via crowdsourcing [C]// Proceedings of the 2014 IEEE International Joint Conference on Biometrics.Piscataway, NJ: IEEE, 2014: 1-8.

[2] PHILLIPS P J, SCRUGGS W T, O’TOOLE A J, et al.FRVT 2006 and ICE 2006 large-scale experimental results [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 831-846.

[3] MOHAMMADZADE H, HATZINAKOS D.Iterative closest normal point for 3D face recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 381-397.

[4] YI D, LEI Z, LI S Z.Towards pose robust face recognition [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2013: 3539-3545.

[5] BLANZ V, VETTER T.A morphable model for the synthesis of 3D faces [C]// Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques.New York: ACM, 1999: 187-194.

[6] PATEL A, SMITH W A P.3D morphable face models revisited [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2009: 1327-1334.

[7] WANG S, LAI S.Reconstructing 3D face model with associated expression deformation from a single face image via constructing a low-dimensional expression deformation manifold [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(10): 2115-2121.

[8] BUSTARD J D, NIXON M S.3D morphable model construction for robust ear and face recognition [C]// Proceedings of the 2010 IEEE Conference Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2010: 2582-2589.

[9] 龔勛，王國胤.基于特征點的三維人臉形變模型[J].軟件學報，2009,20(3):724-733.(GONG X, WANG G Y.3D face deformable model based on feature points [J].Journal of Software, 2009, 20(3):724-733.)

[10] KEMELMACHER-SHLIZERMAN I, BASRI R.3D face recon-struction from a single image using a single reference face shape [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 394-405.

[11] KEMELMACHER-SHLIZERMAN I.Internet-based morphable model [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision.Piscataway, NJ: IEEE, 2013: 3256-3263.

[12] SUWAJANAKORN S, KEMELMACHER-SHLIZERMAN I, SEITZ S.Total moving face reconstruction [C]// Proceedings of the 2014 European Conference on Computer Vision.Berlin: Springer, 2014: 796-812.

[13] LIN Y, MEDIONI G, CHOI J.Accurate 3D face reconstruction from weakly calibrated wide baseline images with profile contours [C]// Proceedings of the 2010 IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2010: 1490-1497.

[14] GONZALEZ-MORA J, DE LA TORRE F, GUIL N, et al.Learning a generic 3D face model from 2D image databases using incremental structure from motion [J].Image and Vision Computing, 2010, 28(7): 1117-1129.

[15] GONG X, WANG G Y.Example-based learning for depth estimation of facial landmarks and its application in face modeling [J].Chinese Journal of Electronics, 2010, 19(4): 676-680.

[16] GONG X, WANG G Y, LI X X, et al.A statistical two-step method for 3D face reconstruction from single image [J].Chinese Journal of Electronics, 2011, 20(4): 671-675.

[17] KENNEDY J, EBERHART R.Particle swarm optimization [C]// Proceedings of the 2013 IEEE International Conference on Neural Networks.Piscataway, NJ: IEEE, 1995: 1942-1948.

[18] KOO H, LAM K.Recovering the 3D shape and poses of face images based on the similarity transform [J].Pattern Recognition Letters, 2008, 29(6): 712-723.

[19] SUN Z, LAM K, GAO Q.Depth estimation of face images using the nonlinear least-squares model [J].IEEE Transactions on Image Processing, 2013, 22(1): 17-30.

[20] DE MARSICO M, NAPPI M, RICCIO D, et al.Robust face recognition for uncontrolled pose and illumination changes [J].IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, 2013, 43(1): 149-163.

[21] NORDSTROM M M, LARSEN M, SIERAKOWSKI J, et al.The IMM face database — an annotated dataset of 240 face images [R].Copenhagen, Denmark: Technical University of Denmark, 2004.

[22] PHILLIPS P J, WECHSLER H, HUANG J, et al.The FERET database and evaluation procedure for face-recognition algorithms [J].Image and Vision Computing, 1998, 16(5): 295-306.

[23] SAVRAN A, ALYUZ N, DIBEKLIOGLU H, et al.Bosphorus database for 3D face analysis [M]// Biometrics and Identity Management.Berlin: Springer, 2008: 47-56.

[24] BLANZ V, MEHL A, VETTER T, et al.A statistical method for robust 3D surface reconstruction from sparse data [C]// Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization.Washington, DC: IEEE Computer Society, 2004: 293-300.

[25] HEO J, SAVVIDES M.Rapid 3D face modeling using a frontal face and a profile face for accurate 2D pose synthesis [C]// Proceedings of the 2011 IEEE International Conference on Automatic Face & Gesture Recognition.Piscataway, NJ: IEEE, 2011: 632-638.

[26] XIE S, SHAN S, CHEN X, et al.Fusing local patterns of Gabor magnitude and phase for face recognition [J].IEEE Transactions on Image Processing, 2010, 19(5): 1349-1361.

This work is partially supported by the National Natural Science Foundation of China (61202191), the Natural Science Key Projects of Sichuan Provincial Department of Education (16ZA0422).

LI Xinxin, born in 1981, M.S., associate professor.Her research interests include artificial intelligence, pattern recognition, networking protocol test.

GONG Xun, born in 1980, Ph.D., associate professor.His research interests include artificial intelligence, pattern recognition, 3D modeling.

3D face modeling and validation in cross-pose face matching

LI Xinxin1, GONG Xun2*

(1.DepartmentofComputerScienceandSoftwareEngineering,JinchengCollegeofSichuanUniversity,ChengduSichuan611731,China;2.CollegeofInformationScienceandTechnology,SouthwestJiaotongUniversity,ChengduSichuan610031,China)

Since the existing 3D face acquisition technology has many restrictions on gathering scene, a 3D face reconstruction technology based on several images was proposed, and its validation was verified.First, an iterative computing model of pose and depth value estimation was proposed to implement the accurate estimation of feature depth.Then the depth values integration based on several images and shape modeling were further investigated.Finally, the Iterative Pose and Depth Optimization (IPDO) algorithm was compared with Nonlinear Least-Squares Model with Symmetry and Regularization terms (NLS1_SR) on Bosphorus database, the modeling precision was improved by 9%, and the projected image of 3D model is similar to the 2D inputted image.The experimental results show that under the condition of big pose change, the proposed recognition algorithm assisted by 3D information can improve the recognition rate of more than 50%.

3D face; face modeling; face recognition; multiple view; cross-modality

2016-08-30;

2016-09-24。

國家自然科學基金資助項目(61202191);四川省教育廳自然科學重點課題(16ZA0422)。

李昕昕(1981—)，女，四川樂至人，副教授，碩士，主要研究方向：人工智能、模式識別、網絡協議測試； 龔勛(1980—)，男，湖南永順人，副教授，博士，CCF會員，主要研究方向：人工智能、模式識別、三維建模。

1001-9081(2017)01-0262-06

10.11772/j.issn.1001-9081.2017.01.0262

TP391.413

A