基于2維正面人臉圖像的3維人臉重構設計與實現

高昊燁， 湯藝璇，陳江源，葉 超，肖南峰

(華南理工大學 計算機科學與工程學院， 廣州 510006)

1 概述

人臉信息大都以2D照片或畫像方式保存，這種方式不僅極易受損，也有較大的應用局限性。近年來，由計算機完成3D人臉重建的研究發展十分迅速，極大地提高了人臉記錄信息的可靠性和魯棒性[1-8]。例如，3D人臉重建已經應用于電影《阿凡達》中男女主角的人臉拍攝，同時具有真實感的3D人臉重建還能增強游戲玩家們的參與感和交互性。3D人臉重建方法可以分為：① 基于3D數據的人臉重建，比如使用3D激光掃描儀[11]；② 基于2D數據的人臉重建，在單張2D正面人臉照片的基礎上修改通用人臉模型實現3D人臉重建；③ 基于多張圖像人臉重構，比如采用插值方法產生的3D人臉模型在各個角度下都顯得很真實。3D人臉重建步驟如下：人臉信息提取[11-14]、通用人臉模型選取[15-18]、目標3D人臉模型適配[12,19-20]、紋理映射等。

20世紀七八十年代，Parke首先研究了3D人臉模型并提出了基于參數構建的虛擬人臉，通過參數變化改變臉部五官形狀和輪廓形狀以形成不同的人臉。Platt等[21]提出的人臉模型以物理肌肉肌群為基礎進行控制。Waters[22]提出了新的肌肉模型，通過模擬2種肌肉的不同變化來實現人臉表情模擬。然而，這些方法對人臉細微和復雜的獨特性和各異性模擬遠沒有達到能實際應用的程度。20世紀90年代，使用2D圖像進行3D人臉重構成了研究熱點[23-26]，這種方式需要通過多幅照片來提取定位人臉面部特征點的3D坐標并使用這些坐標數據還原人臉的立體形狀。Vetter等提出了形變模型，采用3D激光掃描投影技術使得根據單幅圖像恢復高精度3D人臉模型成為了可能。盡管這些研究取得了一定的效果，但是它們通常需要多幅照片和昂貴的3D激光掃描投影設備等，使得3D人臉重建難于在更多和更廣泛的領域中得到應用和普及[4-8]。21世紀初至今，梅麗等[27]在使用正交照片建模方面做了相關研究。胡永利、王成章和蓋贇等[28-30]針對形變模型做了持續性研究，并建立了大規模的中國人臉數據庫。鄭穎[31]將明暗恢復形狀方法與插值方法相結合重建了3D人臉。署光提出了一種使用結合稀疏形變模型和修改一般模型的重建3D人臉的改進方法。但是，這些復雜的3D人臉重建算法在重建后的3D人臉連續性和光滑性等方面還面臨著巨大的挑戰[32-33]。

本文在上述研究基礎上，提出使用一張2D正面人臉圖像生成一個具有真實感的3D人臉模型的方法。該方法的主要內容包括：① 預處理2D源圖像，去噪聲、形態學差異等；② 獲取人臉圖像的特征點并對其進行標示；③ 生成對應于2D照片的目標3D模型；④ 映射紋理至目標模型。實驗結果表明：本文提出的3D人臉重構方法操作簡單、效果良好。

2 人臉特征點提取

2.1 人臉特征點定位方法

人臉特征點是在人臉特定部位上表征人臉特征信息的點，它們幾乎都分布在五官輪廓線上。準確地提取位于眼角、眉峰、唇角和鼻尖等處的特征點是3D人臉重構的基礎，提取的特征點數量和精度直接決定了3D人臉重建的精度和真實性。特征點提取算法主要包括主動形狀模型ASM[34-35]、主動表現模型AAM[36]、顯式形狀回歸ESR、回歸分析、深度學習等。其中，主動形狀模型ASM是將數十個臉部特征點的紋理和位置關系約束在一起考慮及計算出一個參數模型，從局部特征中檢測到所求的關鍵點。人臉特征點提取操作流程屬于一種模式識別，如圖1所示。人臉特征點定位是核心，目前主要有局部和全局定位方法兩類。其中，全局特征點定位方法可以同時定位許多人臉特征點，主動形狀模型ASM就是一種全局特征點定位方法[37-38]。

圖1 特征點提取模式識別流程

2.2 主動形狀模型ASM實現

主動形狀模型ASM以點分布模型為基礎，包括訓練人臉特征模型及搜索目標形狀。

1) ASM訓練。如圖2所示，第i個樣本標注了k個特征點，其坐標構成形狀向量：

i=1,2,…,n

(1)

(2)

計算出S的特征值λ，選出最大的t個特征值對應的向量P= (p1,p2,…,pt)，向量P對應的特征值滿足以下條件：

(3)

式中：比例系數fv一般為95%；VT是全部特征值的和。形狀向量可以表示為

(4)

式中PS是S的前t個特征向量，通過修改b的值，可以調整模型形狀。接下來構建特征點局部特征。如圖3所示，第j個樣本的第i個特征點中，過該點在相鄰特征點連線的垂直方向選出2m+1個像素點，對2m+1個像素點的灰度值求導后可得出局部紋理，定義其為gij，則可以得出第i個特征點的局部紋理均值：

(5)

以及方差

(6)

(7)

2) ASM搜索。ASM將樣本平均形狀模型覆蓋在圖像上進行多輪特征點搜索，當參數變化非常小或超過迭代次數上限時則停止搜索，輸出模型。在有了平均形狀模型和局部特征模型后，ASM搜索由仿射變換平均形狀得出如下的原始模型：

X=M(s,θ)[ai]+Xc

(8)

M(s(1+ds),(θ+dθ))[ai+dai]+

(Xc+dXc)=(X+dX)

(9)

(10)

式(8)表示對模型ai縮放s、旋轉θ、平移Xc。ASM利用式(7)求出馬氏距離最小的局部特征作為特征點新位置。特征點變更產生的位移組成向量dX= (dX1,dX2,…,dXk)。結合式(9)(10)更新ds、dθ、dXc、db，使得X與X+dX最為接近。

圖2 標有特征點的人臉

圖3 第i個特征點的局部特征

2.3 顯式形狀回歸算法

Sun等[39]提出了顯式形狀回歸(explicit shape regression,ESR)算法，該方法基于訓練樣本的線性組合來約束形狀。ESR使用強化回歸以加法的形式來組合一個T大小的弱回歸器(R1,…Rt,…,RT)，給定一張人臉圖像I和一個初始形狀S0，每個回歸器從圖像特征中計算出一個形狀增量δS，并以級聯形式來更新人臉形狀[39]。

St=St-1+Rt(I,St-1),t=1,…,T

(11)

(12)

式中Sit-1是前一步的估計形狀。顯式形狀回歸的回歸器見圖4。

圖4 顯式形狀回歸的回歸器

1) 兩級級聯回歸。顯式形狀回歸使用了一個兩級強化回歸，第1層10級，第2層500級。第1層中每個節點的輸出都是上一個節點的輸入。通過第2級強化回歸來訓練每個弱回歸器Rt，Rt=(r1,…,rk,…,rK)。在相同訓練下，2級強化回歸比1級更準確。

2) 原始回歸器。使用fern作為原始回歸器r。fern是F個特征和閾值的組合，將訓練樣本劃分為2F個箱。每一個箱對應一個回歸器輸出δSb，使得訓練樣本Ωb的對齊誤差最小化。為了避免箱內訓練數據不足的情況下產生過度擬合現象，可以進行收縮，即

(13)

式中β是一個自由的形變參數。在箱內有足夠訓練樣本時作用不明顯；相反，訓練樣本不足時可以自適應地減少估計量。

3) 基于形狀索引的特征。像素由當前的估計形狀索引，而不是原始圖像坐標，這更好地實現了幾何不變性，從而使回歸問題更簡單，學習收斂更快。在顯式形狀回歸算法中，使用其最近特征點的局部坐標(δx,δy)對像素進行索引，如圖5所示。

4) 基于相關性的特征選擇。顯式形狀回歸算法為了形成一個好的fern回歸器，需要從P2個特征點中選擇F個。為了在短時間內探索巨大的特征空間，產生良好的候選fern，需要利用特征與回歸目標之間的相關性。此處，采用了一個基于相關性的特征選擇方法：① 將回歸目標投影到隨機方向以產生標量；② 在P2個特征中，選擇與標量相關性最高的特征；③ 重復步驟①和②F次以獲得F個特征；④ 用F個特征構建fern。

圖5 使用不同坐標的特征點相對位置差異

3 基于徑向基函數插值的網格變形

使用人臉特征點提取算法可以得到人臉圖像的特征點坐標。通用人臉模型的各個頂點坐標已知，本文在人臉模型的對應位置上設置特征點，這樣2D特征點就與3D模型上的特征點建立對應，而3D模型上沒有對應的頂點就需要依據2D特征點和3D特征點的變換關系來進行類似變換。本文選取的通用人臉模型是一個空間網格結構，當在網格結構中的某個3D特征點產生變化時，其他點勢必也會變化。這種變化會由于離特征點的距離不同而有所不同。一般來說，近特征點位置的變動對其位置影響大，遠特征點則影響較小，這種由于距離關系而產生不同結果的特性正好與徑向基函數(radial basis function， RBF)的原理相同。因此，本文利用RBF及其插值方法來對通用人臉模型進行形變，從而匹配2D照片中的臉部結構。

3.1 徑向基函數RBF插值

徑向基函數RBF[40]是一個僅與原點有關的實值函數，原點可以是某個特定點c(“中心”)，用公式表示為：

Φ(x-c)=Φ(||x-c||)

(14)

式中Φ是基函數，其自變量可以是歐氏距離，也可以是其他的合理值。本文的網格模型中可以稱為“中心”的點就是3D特征點，而為了使所有3D特征點對一個非特征點的影響都能得到體現，應將非特征點到每一個特征點的Φ(||x-ci||)以一定形式進行綜合。結合本文之前提到的不同特征點對于非特征點的影響不同，需要在這些值前加上某個系數。為了降低插值誤差，引入一個低階多項式，本文選擇基函數的自變量形式為歐式距離，將薄板樣條Φ(r)=r2ln(r2)作為基函數，則可以得到

(15)

(16)

(17)

3.2 徑向基函數RBF插值在特定人臉模型生成中的應用

(18)

(19)

式中：方程左側是變換后的3D特征點(即2D圖像特征點)的坐標值；右側是與此對應的3D坐標點(x,y)與所有3D特征點的徑向基函數之和。式(19)中蘊含著正交性原則：

(20)

同理，對于Y軸方向也有相同的正交性原則。本文將式(18)(19)聯立得到如下的線性求解系統：

(21)

4 個性化3D人臉模型建模

個性化3D人臉重構是依據特定個體的面部信息建立目標3D人臉模型。在建模時借助通用人臉模型，以目標人臉的面部信息為基礎對模型中頂點進行調整，從而生成個性化人臉模型。在進行個性化人臉重構時選擇人臉模型間接建模，并使用1幅人臉圖像作為人臉特征來源。具體步驟為：① 使用COFW人臉數據庫作為訓練集，訓練特征點提取算法；② 輸入目標圖像，對其進行特征點提取，在圖像上對其位置進行標注；③ 在通用3D模型中選擇與這些特征點對應的點，建立一個2D到3D的聯系，通過使用基于徑向基函數的插值方法表示這種聯系，對非特征點進行位置變換，從而將原始人臉模型變形至目標形狀得到個性化人臉模型；④ 將原始照片作為紋理，使用Open GL接口將其映射到上一步得到的3D模型上，最終生成真實的3D人臉模型。3D人臉重建流程如圖6所示。

圖6 3D人臉重建流程

1) 人臉模型表示與選擇。標準人臉模型能代表人臉的公共特征，具有較高的易操作性。標準人臉模型主要有多邊形模型、曲面模型兩種；代表性的Candide-3模型。采用三角面片表示人臉模型，本文選取它為標準人臉模型[42]，如圖7(b)所示。

2) CANDIDE-3通用人臉模型。Candide是專門針對人臉模型編碼開發的參數化面罩，其多邊形數量少，允許以適度計算能力進行快速重建。Candide-3具有113個頂點和184個三角形面片，如圖7(c)所示，對應點標號是Candide-3的點2D分布。

3) 2D人臉圖像特征點檢測。用于訓練特征點提取算法的COFW人臉數據庫定義了29個人臉特征點，它們分布在眉毛(4×2個)、眼睛(5×2個)、鼻子(4個)、嘴巴(6個)、下巴(1個)。這些特征點具有表示整個臉部信息的能力，數量不多。本文需要將2D特征點與3D特征點進行對應，對這些特征點進行處理后得到特征點數目31個，分布在眉毛(4×2個)、眼部(4×2個)、鼻(4個)、嘴(5個)、下巴(1個)和輪廓部位(5個)，如圖8所示。

圖7 Candide-3通用人臉模型的點2D分布

圖8 2D人臉圖像特征點標注

4) 2D特征點與3D特征點匹配。建立2D到3D的對應為下一步使用基于徑向基函數的插值做好準備工作。本文需要對2D和3D的特征點進行匹配。Candide-3通用人臉模型具備和COFW人臉數據庫標注的特征點相對應的頂點，其對應關系如圖9所示。

圖9 Candide-3通用模型與2D特征點的對應

(22)

(23)

此時將Ni代入式(22)(23)中，能得到通用人臉模型在對應于2D特征點進行變形后的目標3D人臉結構(見圖10)。

圖10 RBF插值后的目標人臉模型

5 紋理映射

紋理映射是將圖像以一定規則投射到2D平面或3D物體表面上的技術。在得到了目標3D人臉模型后，為使其更具有真實感需補充細節信息，進行紋理映射。紋理映射步驟如圖11所示。本文使用Open GL中的紋理映射庫函數[45-47]來對模型進行紋理映射。為此，需要將紋理與模型上的點建立對應關系，這就可以使用RBF插值來進行。在對個性化模型進行網格適配時，將3D模型與2D照片上的點建立對應關系[48]。本文使用2D照片作為紋理，所以已在紋理和模型頂點之間建立了對應關系。在進行紋理映射時不能直接使用坐標，需要將其轉換為紋理坐標。讀取模型的結構文件，可以得知每一個面片的3個頂點標號。以每一個三角形作為映射基本單位，通過將紋理坐標與模型頂點坐標相聯系對這個三角形做紋理映射。最后在對所有的面片執行該操作后，整個人臉模型的紋理映射結束。

圖11 紋理映射步驟

6 實驗結果討論

本文以1張普通的正面人臉圖像作為輸入，輸出1個具有真實感的人臉模型，其重建結果如圖12～15所示，效果逼真。由于源2D圖像的分辨率較低，對最終結果造成了影響。另外，模型的棱角可能過于分明，故可在條件允許的情況下使用結構更加精細、頂點數目更多的通用人臉模型。

圖12 紋理映射后的目標人臉模型

圖13 具有真實感的3D人臉模型1

圖14 具有真實感的3D人臉模型2

圖15 具有真實感的3D人臉模型3

7 結束語

本文算法最終確定31個有效的特征點，與Candide-3通用人臉模型一一對應。選擇了薄板樣條函數作為基函數構建插值函數，并將插值函數應用于對具有網格結構的人臉模型變形操作中。應用徑向基函數插值的優勢明顯，可以直接得到一個線性方程組，通過求解這個線性方程組得到一個精確的插值函數。通過實驗發現，使用這種方法進行插值后得到的目標人臉模型仍然保持著與原始通用人臉模型相似的形狀，并具有良好的連續性和光滑性。本文將2D圖像作為紋理圖像，使用基于徑向基函數的插值函數計算得到特征點對應紋理的紋理坐標，將紋理坐標與特征點坐標聯系，使用Open GL的紋理映射庫函數，以基本的三角形面片為單位，逐步實現了紋理映射，最后生成一個有真實感的3D人臉模型。本文實現的系統結構簡單清晰、逐層分離、輸入簡單、操作成本低，能以一張正面人臉圖像為基礎，最終生成一個具有真實感的人臉模型，效果逼真，具有一定的實用價值。

參考文獻：

[1] PARKE F I.Computer generated animation of face[C]//Proceedings of ACM annual conference.USA:[s.n.],1972:451-457.

[2] PARKE F I.A parametric model for human face[D].USA:University of Utah,1974.

[3] PARKE F I.A model for human faces that allows speeches synchronized animation [J].Journal of Computers and Graphics,1975,1(1):1-4.

[4] 王進.基于視頻的人臉表情建模研究[D].杭州:浙江大學， 2003.

[5] 沈理，劉翼光，熊志勇.人臉識別原理及算法:動態人臉識別系統研究[M].北京:人民郵電出版社，2014.

[6] 鄒北驥.人臉造型與面部表情動畫技術研究[D].長沙：湖南大學,2001.

[7] 李月龍，靳彥，汪劍鳴，等.人臉特征點提取方法綜述[J].計算機學報,2016,39(7):1356-1374.

[8] 熊平,盧燁.基于單張照片的3D人臉重建優化算法[J].計算機應用,2013,33 (8):2359-2361.

[9] ZHA H B,WANG P.Realistic face modeling by registration of 3D mesh models and multi-view color images.[C]//the 8th Int’l Conf.Computer Aided Design and Computer Graphics.Macao:Welfare Printing Limited,2003:217-222.

[10] PIGHIN F,HECKER J,LISCHINSKIY D,et al.Synthesizing realistic facial expressions from photographs [C]//the 25th Annual Conf.on Computer Graphics.Orlando:ACM Press,1998:75-84.

[11] WATER K,TERZOPOULOS D.Modeling and animating faces using scanned data[J].Visualization and Computer Animation,1991,2(4):23-128.

[12] LEE Y,TERZOPOULOS D,WATERS K.Realistic mo-deling for facial animation[C]//SIGGRAPH Conference Proceeding.USA:[s.n.],1995:55-62.

[13] BLANZ V,VETTER T.Face recognition based on fitting a 3D morphable model[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2003,25(9):1063-1074.

[14] ZHA H B,WANG P.Realistic face modeling by registration of 3D mesh models and multi-view color images[C]//the 8th Int’l Conf.Computer Aided Design and Computer Graphics.Macao:Welfare Printing Limited,2003:217-222.

[15] DECARLO D,METASAS D,STONE M.An Anthropomctric Face Model using Variational Techniques[C]//Conference on Computer Graphics & Interactive Techniques.USA:[s.n.],1998:67-74.

[16] BLANZ V,VETTER T.A morphable model for the synthesis of 3D faces[C]//Computer Graphics Proceedings Siggraph’.USA:[s.n.],1999:71-78.

[17] LIU Z,ZHANG Z,JACOBS C,et al.Rapid modeling of animated faces from video[J].The Journal ofVisualization and Computer Animation,2001,12(4):227-240.

[18] ZHANG Z,LIU Z,ADLER D,et al.Robust and rapid generation of animated faces from video images:A model-based modeling approach[J].International Journal of Computer Vision,2004(3)：119.

[19] DIMITRIJEVIC M,ILIC S,FUA P.Accurate face models from uncalibrated and ill-lit video sequence[C]//the IEEE Conf.on Computer Vision and Pattern Recognition.Washington:IEEE Computer Society,2004:188-202.

[20] BLANZ V,VETTER T.Face recognition based on fitting a 3D morphable model[J].IEEE Trans.on Pattern Ana-lysis and Machine Intelligence,2003,25(9):1063-1074.

[21] PLATT S M,BADLER N I.Animating facial expressions[C] //Conference on Compu-ter Graphics and Interactive Techniques.USA:ACM,1981:245-252.

[22] WATERS K.A muscle model for animating three-dimensional facial expression[J].Acm Siggraph Computer Graphics,1987,21(4):17-24.

[23] 陳婷,阿里甫·庫爾班.基于照片的特定3D人臉重構方法[J].計算機技術與發展,2011,21(7):43- 45.

[24] IP H H S,YIN L.Constructing a 3D individualized head model from two orthogonal views[J].The Visual Computer,1996,12(5):254-266.

[25] FREDERIC Pighin,JOEL Auslander,DANI Lischinski,et al.Realistic facial animation using image based 3d morphing[Z].Washington:University of Washington,1997.

[26] BLANZ V,VETTER T.Face Recognition Based on Fitting a 3D Morphable Model[M].USA:IEEE Computer Society,2003.

[27] 梅麗,鮑虎軍,彭群生.一個基于正交圖像重建虛擬人臉的快速方法[J].計算機應用,2000(s1):259-261.

[28] 胡永利,尹寶才,谷春亮,等.基于形變模型的3D人臉重建方法及其改進[J].計算機學報,2005,28(10):1671-1679.

[29] 王成章,尹寶才,孫艷豐,等.改進的基于形變模型的3D人臉重構方法[J].Acta Automatica Sinica,2007,33(3):232-239.

[30] 蓋赟.基于形變模型的3D人臉重構方法研究[D].北京:北京工業大學,2012.

[31] 鄭穎.基于圖像的3D人臉重構研究[D].合肥:中國科學技術大學,2009.

[32] 署光.基于單幅圖像的3D人臉重構及應用研究[D].上海:上海交通大學,2009.

[33] 劉成明，張立明.一種改進的人臉特征點定位方法[J].復旦學報,2006,45(4):457-463.

[34] TIM Cootes，BALDOCK Ed R,GRAHANL J．An Introduction to Active Shape Models[Z]． Image Processing and Analysis,Oxford University Press,2000:223-248.

[35] COOTES T F,TAYLOR C J,COOPER D H,et al.Active shape models:Their training and application[J].Compu-ter Vision & Image Understanding,1995,61:38-59.

[36] COOTES TF,EDWARDS G J,TAYLOR C J.Active appearance models[J].IEEE Transactions on Pattern Ana-lysis and Machine Intelligence,2001,23 (6):681.

[37] 秋華青.基于單張正面人連照片的個性化人臉重構系統研究[D].南京:南京師范大學,2011.

[38] 孫成志.人臉關鍵特征點定位研究及應用[D].成都：電子科技大學,2009.

[39] CAO X,WEI Y,WEN F,et al.Face alignment by explicit shape regression[J].Computer Vision and Pattern Re-cognition,2012:2887-2894.

[40] ORR M J L.Introduction to radial basis function networks[Z].Technical Reports,Centre for Cognitive Science,University of Edinburgh,1996.

[41] 王映輝.人臉識別—原理、方法與技術[M].北京:科學出版社，2010:279-293.

[42] AHLBERG J.CANDIDE-3 _ an updated parameterized face[Z].Report No.LiTH-ISY-R-2326,Dept.of Electrical Engineering,Link ping University,Sweden,2001.

[43] 方恂.單幅照片的3D人臉重建[D].北京：中國地質大學,2011.

[44] 方恂.基于單幅照片的3D人臉重建[D].北京:中國地質大學.2011.

[45] 徐明亮，盧紅星，王琬.OpenGL游戲編程[M].北京:機械工業出版社，2008(4):214.

[46] 蘇明.基于照片的游戲中個性化3D人臉造型的研究[D].成都：西南交通大學,2005.

[47] 許燕.淺談真實感圖形生成技術與真實感繪制[J].電腦知識與技術,2013,9(24):5542-5544.

[48] ASTLE Dave,HAWKINS Kevin.OpenGL game cording[M].重慶:重慶大學出版社，2006：1-328.