基于NURBS曲面的三維人臉表情合成算法*

伍 菲

(桂林電子科技大學(xué) 信息科技學(xué)院， 廣西 桂林 541004)

隨著人工智能領(lǐng)域的快速發(fā)展，計算機視覺已成為該領(lǐng)域的熱門研究方向.在技術(shù)研究逐漸深入的背景下，如何合成三維的人臉表情，成為了計算機視覺領(lǐng)域的重點研究方向[1-3]，具有較高的實用與商業(yè)價值.一般而言，三維人臉表情的合成是利用圖片或視頻中的數(shù)據(jù)，令中性參考模型生成豐富的表情變化.在不同光線、視角和角度等條件下，合成算法需對二維圖片進(jìn)行精細(xì)地刻畫和優(yōu)化[4-8].目前，大量學(xué)者已在三維人臉表情合成研究上取得了一定的成果[9-10].其中，Zhu等[11]使用BFM數(shù)據(jù)庫和線性基，實現(xiàn)了三維人臉表情形狀的生成；而Xiong等[12]在人臉表情生成過程中，引入了遷移方法，從而優(yōu)化了算法的速度和執(zhí)行效率.但人臉表情生成的研究領(lǐng)域仍有大量問題未被完全解決，例如：中性參考模型的選擇，光線、角度和姿態(tài)等條件的影響，對應(yīng)關(guān)系的選擇及特征點位置的平滑性優(yōu)化等.因此，如何設(shè)計一種適應(yīng)多種背景條件且具有泛化性的通用算法，仍是三維人臉表情合成中急需解決的關(guān)鍵問題.

針對上述問題，本文在分析主流合成算法的基礎(chǔ)上，提出了一種基于NURBS(non-uniform rational B-splines)曲面的人臉表情合成算法.該合成算法利用優(yōu)化NURBS控制點的方法，確定連續(xù)的參考模型，同時該合成算法利用幾何與平滑約束的方法，增加三維人臉表情的平滑性；通過相應(yīng)的設(shè)置和優(yōu)化，該合成算法部分消除了不同光線、角度和視角等條件的影響，從而得到更為優(yōu)秀的三維人臉表情結(jié)果.

1 人臉建模

NURBS曲面是NURBS曲線由一維推廣到二維運算的方法，具有局部可修改的特性，能夠定義不均勻的節(jié)點間隔，因此，NURBS曲面可以刻畫復(fù)雜的人臉幾何結(jié)構(gòu).令參考模型M表示維度為a×b的NURBS曲面，P={Pi，j}m×n表示曲面中的控制點，U={ui}(1≤i≤m+a)與V={vj}(1≤j≤n+b)分別表示u和v方向上的節(jié)點向量，則參考模型可表示為

(1)

式中：Ni(u)、Nj(v)為樣條基函數(shù)；w為非負(fù)數(shù)權(quán)因子.由于NURBS曲面理論能夠定義不均勻的節(jié)點間隔，所以這里設(shè)定非負(fù)數(shù)權(quán)因子w=1.為了簡化計算過程，本文將式(1)轉(zhuǎn)化為矩陣運算，即

M(u，v)=Ru，v[Bx|ByBz]

式中：Ru，v為1×mn維的矩陣；Bx、By和Bz為控制點矩陣B的各個列向量，其維度均為mn×1.

2 三維人臉表情合成

利用NURBS理論可以確定人臉的中性參考模型，為了在參考模型中增加表情效果，本文需要利用人臉特征點來調(diào)節(jié)參考模型，同時增加幾何和平滑約束，最終合成具有較高平滑度的三維人臉表情.

2.1 單視角模型

為了合成平滑的三維人臉表情，本文使用文獻(xiàn)[13]中的人臉特征點檢測算法，在二維圖片和參考模型之間，提取準(zhǔn)確的人臉特征點，并建立特征點集合之間的稀疏對應(yīng)關(guān)系.根據(jù)二維圖片與三維模型之間特征點的稀疏對應(yīng)關(guān)系，令A(yù)p表示維度為72×mn的特征點系數(shù)矩陣，Bn表示維度為mn×3的控制點矩陣，Qn表示二維圖片對應(yīng)的三維特征點，Tg表示整體的幾何約束矢量，Ts表示局部的平滑約束矢量，λ和θ分別表示這兩種約束的系數(shù)，單視角模型可表示為

(2)

2.2 約束條件

當(dāng)求解迭代控制點Bn時，未知數(shù)個數(shù)大于方程個數(shù)，這意味著人臉的非特征點缺少必要的約束，所以，人臉表情合成過程中需要增加整體幾何約束Tg和局部平滑約束Ts.

1) 幾何約束.為克服人臉非特征點缺少約束的缺點，本文在參考模型中增加了基于二階偏導(dǎo)的幾何約束，其表達(dá)式為

(3)

式中：Bo為上一輪迭代的控制點；L2為z對于x與y求偏導(dǎo)數(shù)的和矩陣.令c表示NURBS曲面控制點的個數(shù)，則L2的維度為c×mn.若ru和rv表示維度為a×m與b×n的配置矩陣，則x、y和z的表達(dá)式為

(4)

需要說明的是，式(4)中Bx、By和Bz的維度均為m×n，由控制點矩陣B重排獲得.利用z對x和y的二階偏導(dǎo)數(shù)的幾何與物理意義，本文可以確保人臉表情合成形狀不出現(xiàn)非特征點噪聲，從而增加合成結(jié)果的平滑性.

2) 平滑約束.為了降低稀疏對應(yīng)關(guān)系產(chǎn)生的噪聲，本文利用高斯權(quán)重法設(shè)計局部控制點的平滑約束，其計算表達(dá)式為

(5)

式中：B′o為中性參考模型的初始控制點；矩陣G的維度為c×mn.

通過增加高斯權(quán)重的平滑約束，算法可以調(diào)節(jié)特征點及其周邊區(qū)域，避免人臉特征點變成奇異點，從而增加合成結(jié)果的平滑性.

單視角的模型進(jìn)一步可表示為

(6)

對式(6)求導(dǎo)，令導(dǎo)數(shù)等于0，可得模型的最小值，即

(7)

式中，pinv為求偽逆矩陣的運算.

2.3 嘴部擬合

在人臉表情發(fā)生變化時，嘴部形狀經(jīng)常會比其他臉部位變化更大，因此，如何精細(xì)地擬合嘴部的輪廓，直接決定了三維人臉表情合成的視覺效果.為了更好地擬合嘴部輪廓，本文主要使用兩種方式：1)增加嘴部特征點的數(shù)量和密度；2)提高NURBS曲線控制點的計算精度.按照此思路，文中使用的形式化模型表達(dá)式為

(8)

式中：Ap-m為維度是16×l的特征點系數(shù)矩陣，Ap-m每一個行向量均是一個嘴部特征點的特征點系數(shù)，l為控制點個數(shù)；Bn-m為維度是l×3的控制點矩陣；Qn-m為與二維圖片具有對應(yīng)關(guān)系的三維嘴部特征點集合.與式(5)的求解過程類似，對式(8)求導(dǎo)，當(dāng)導(dǎo)數(shù)為0時得到最小值，即

(9)

3 仿真與分析

為了驗證合成算法的有效性和泛化性，本文設(shè)計了相應(yīng)的實驗.該實驗使用文中提出的人臉表情合成算法，將不同環(huán)境和光照條件的二維圖片合成為三維的人臉表情形狀，其合成前后的效果如表1所示.需要說明的是，本文的實驗圖片是一張合成圖片，來自于文獻(xiàn)[11].在迭代過程中，為了達(dá)到最優(yōu)的實驗效果，本文設(shè)定窗口尺寸W=7，權(quán)值系數(shù)λ=0.000 001，θ=1，方差δ=2.023.

在表1中，第1列圖片是實驗的原始圖片，其中前4張是在不同的角度和姿勢條件下拍攝的，后2張是在不同的光照條件下拍攝；第2列與第3列的圖片分別展示了合成之后的平面和側(cè)面的三維人臉形狀；第4列圖片展示了無紋理的合成形狀.根據(jù)表1第2～4列所展示的圖片可知，其人臉表情形狀幾乎無較大區(qū)別，這證明本文的合成算法具有較好的穩(wěn)定性.

表1 合成前后效果對比圖

由表1可知，本文合成算法可以重建出與輸入圖片一致的三維人臉表情，但表1展示的圖片并未能衡量合成算法的重建準(zhǔn)確程度.為了證明該合成算法重建準(zhǔn)確度，本文將合成算法與文獻(xiàn)[11]中的參考模型的多項運行結(jié)果進(jìn)行了數(shù)據(jù)對比，其比較的項目分別是歐氏距離與均方根距離的均值，對比結(jié)果如表2所示.

歐氏距離與均方根距離的均值大小可以衡量三維人臉形狀的準(zhǔn)確度，即當(dāng)這兩個均值越小時，三維人臉形狀越接近輸入圖片[13].其中，歐氏距離均值的計算方式為：首先計算合成的人臉形狀特征點到輸入圖片最近點的距離；其次將該距離除以兩點之間距離，完成標(biāo)準(zhǔn)化；最后對標(biāo)準(zhǔn)化之后的所有距離求均值.均方根距離均值的計算方

表2 文獻(xiàn)[11]與合成算法重建結(jié)果對比Tab.2 Comparison of reconstruction results between reference [11] and synthesis algorithm

式為：首先使用合成特征點到最近點的距離減去歐氏距離，再求平方；其次，計算平方和，除以特征點總數(shù)；最后開方得到均方根距離.

根據(jù)表2可知，本文合成算法的歐氏距離和均方根距離的數(shù)值均小于文獻(xiàn)[11]的相關(guān)參數(shù).由參數(shù)的物理意義可知，本文合成算法重建效果優(yōu)于文獻(xiàn)[11]，具有一定的借鑒和參考價值.

4 結(jié) 論

基于NURBS曲面擬合與人臉特征點提取技術(shù)，并利用平滑約束和幾何約束方法，本文提出了一種三維人臉表情合成算法.同時，本文對該算法進(jìn)行了相關(guān)的仿真與分析，結(jié)果表明，該算法具有一定的穩(wěn)定性和泛化性.但該算法的合成效果依舊不理想，仍存在較大的優(yōu)化空間，尤其是在嘴部擬合部分，這也是未來的研究方向.