動畫制作中面部關(guān)鍵點的表情捕捉技術(shù)

鄭立國，孫亦南

(吉林禹碩動漫游戲科技股份有限公司，長春130012)

隨著計算機(jī)技術(shù)的發(fā)展，動漫領(lǐng)域中的人物形象已經(jīng)從手工逐幀繪制全面轉(zhuǎn)移到利用諸如Maya等專業(yè)的動漫制作軟件中。動畫人物的動作實現(xiàn)也由設(shè)計人員在專業(yè)軟件中設(shè)計關(guān)鍵幀骨骼動畫轉(zhuǎn)變?yōu)橥ㄟ^專業(yè)的動作捕捉系統(tǒng)實時捕捉真實演員的動作實現(xiàn)，如電影《魔戒》、《金剛》、《極地特快》等。

2009年上映的好萊塢電影《阿凡達(dá)》中納美人栩栩如生的面部表情，給觀眾帶來了巨大的震撼。它將人類面部表情的識別和制作帶到一個新的高度。導(dǎo)演卡梅隆協(xié)同維塔工作室開發(fā)了一套全新的表情捕捉系統(tǒng)。該系統(tǒng)的核心是面部捕捉頭戴設(shè)備［1］(Facial Capture Head Rig)。該設(shè)備是一款特制的安裝了微縮高清攝像頭的無邊帽子，表演時，在演員面部特定部位涂抹綠色的跟蹤點并與CG角色面部的相應(yīng)位置進(jìn)行了精密的綁定。演員表演過程中，攝像頭實時記錄跟蹤點的位置變化信息，從而反應(yīng)到CG角色的相應(yīng)位置，體現(xiàn)出真實的表情變化。隨著《阿凡達(dá)》的空前成功，面部表情識別技術(shù)和設(shè)備近幾年也得到了快速發(fā)展，出現(xiàn)了多種采用單一或多個攝像頭進(jìn)行視頻采集的設(shè)備［2－5］。但這些設(shè)備都是采用和《阿凡達(dá)》類似的粘貼或涂抹跟蹤點的方式，只是跟蹤點的類型和數(shù)量不同。

在動漫制作領(lǐng)域，一個或多個角色的表情都是動漫設(shè)計人員制作的，角色的表情是其設(shè)計人員的真實反映。理想狀態(tài)下，角色的表情就是設(shè)計人員的表情。通過目前的表情識別設(shè)備捕捉設(shè)計人員的表情再和CG角色綁定，顯然是不方便的。如何更便捷、實時地將二者結(jié)合起來，是目前動漫制作領(lǐng)域中需要考慮的問題。

圖1 架構(gòu)圖Fig.1 Architecture diagram

本文嘗試不使用跟蹤點的方式捕捉設(shè)計人員的表情，完全通過計算機(jī)視覺中圖像處理和模式識別技術(shù)，識別其面部如眉毛、眼睛、嘴唇等關(guān)鍵特征部位的變化。通過與CG角色面部的相應(yīng)位置進(jìn)行綁定，實時生成角色的表情。

1 系統(tǒng)構(gòu)成

硬件上，本系統(tǒng)僅采用一臺普通高清彩色攝像頭，將其放置在動漫設(shè)計人員所使用電腦屏幕的上方，能夠捕捉其正面面部特征即可。這樣，設(shè)計人員可以即時表演，即時獲得CG角色的表情效果，從而可以實時調(diào)整自己的表演，修改CG角色的效果。

軟件實現(xiàn)上，首先要確定人臉的位置，才能在此基礎(chǔ)上進(jìn)行表情捕捉，本文將眉毛、眼睛、嘴巴等7個關(guān)鍵點做為表情捕捉的基本關(guān)鍵點，將其與CG角色的相應(yīng)位置進(jìn)行綁定，完成CG角色面部表情的即時生成。軟件的整體架構(gòu)如圖1所示。

1.1 人臉識別

由于本系統(tǒng)沒有額外限制使用者相對于攝像頭的位置，在取得的視頻中，不僅包含使用者的面部信息，也包括背景信息。所以，第一步需要檢測使用者面部所在位置。在此區(qū)域內(nèi)，進(jìn)行后繼的識別。

目前，人臉檢測技術(shù)發(fā)展比較成熟，已經(jīng)實現(xiàn)了多種算法并取得良好的效果。本文利用Intel公司提供的開源OpenCV視覺庫［6］做為基礎(chǔ)，調(diào)用OpenCV提供的人臉檢測函數(shù)對視頻中的每一幀進(jìn)行人臉識別，識別出的結(jié)果用紅色方框來表示。根據(jù)實驗，正面人臉，頭部傾斜程度不高時，有很高的識別率，但側(cè)面人臉的識別率比較低。識別結(jié)果如圖2所示。

1.2 眉毛識別

檢測到人臉后，識別區(qū)域被限制在這一矩形區(qū)域內(nèi)，額外的背景就可以被有效的剔除掉。

圖2 識別結(jié)果Fig.2 Result of face detection

由于人臉的固有特征，眉毛在人臉的位置大致可以確定。通過試驗，本文截取人臉矩形區(qū)域自上1/5處到1/3處的圖像，其中必然包含眉毛的圖像且能夠減少頭發(fā)對識別的影響。

由于拍攝的是彩色圖像，需要對其做如下預(yù)處理:

(1)將彩色圖像轉(zhuǎn)換為灰度圖像，并進(jìn)行直方圖優(yōu)化;

(2)對灰度圖采用Ostu最優(yōu)閾值變換方法，將灰度圖轉(zhuǎn)換為二值圖像;

(3)對二值圖像采用數(shù)學(xué)形態(tài)學(xué)的腐蝕、膨脹操作，去除圖像相對孤立的噪點。

此時得到的眉毛區(qū)域二值圖像如圖3所示。

圖3 眉毛的二值圖Fig.3 Binary image of eyebrow

預(yù)處理之后，基本可以將一些潛在的非眉毛區(qū)域的影響消除。在此基礎(chǔ)上，根據(jù)眉毛的物理特點，對左右眉毛分別向Y軸投影，以5個像素為一個區(qū)間，統(tǒng)計每個區(qū)間中白色像素的個數(shù)，其中白色像素最多的區(qū)間就是眉毛所在的區(qū)域。在該區(qū)域，統(tǒng)計白色像素的坐標(biāo)，求得白色像素的重心，就是眉毛的中心點。

1.3 眼睛識別

和眉毛的處理類似，根據(jù)眼睛的物理位置，本文截取人臉矩形區(qū)域自上1/3處開始，高度為人臉矩形高度的1/5的矩形區(qū)域，作為眼睛所在的區(qū)域。并同樣按照上節(jié)眉毛所進(jìn)行的預(yù)處理步驟對此區(qū)域的彩色圖像進(jìn)行處理，盡可能消除噪聲的影響。

本文進(jìn)行眼睛閉合狀態(tài)的判斷以及眼球位置的識別。由于眼皮的膚色和非眼睛區(qū)域的膚色相當(dāng)接近，所以在眼睛閉合時，預(yù)處理得到的二值圖像中，黑色像素很少，基本上是眼睫毛的表現(xiàn)。而眼睛睜開時，由于眼球是黑色的，眼睛的輪廓處和外圍膚色有一個顏色突變，所以預(yù)處理后得到的二值圖像，黑色像素明顯比眼睛閉合時多很多。眼睛睜開時如圖4所示，閉合時如圖5所示。

圖4 眼睛睜開圖像Fig.4 Binary image of opening eyes

圖5 眼睛閉合圖像Fig.5 Binary im age of closing eyes

所以，本文對左右眼分別向X軸方向投影，統(tǒng)計每一列黑色像素的個數(shù)。設(shè)定一個閾值，小于這個閾值的列認(rèn)為不是眼球所在的區(qū)域，大于此閾值的則認(rèn)為是眼球潛在區(qū)域。如果所有列黑色像素的個數(shù)都小于該閾值，則認(rèn)為該眼是閉合的，反之則是睜開的。

對睜開的眼睛，繼續(xù)獲得眼球的位置信息。由于眼角等所在列的黑色像素個數(shù)也有可能大于此閾值，所以對所有潛在區(qū)域還需要進(jìn)一步區(qū)分。因為眼球在X軸投影是一個連續(xù)黑色區(qū)域且相對其他黑色區(qū)域?qū)挾茸畲螅越y(tǒng)計潛在區(qū)域的所占列的個數(shù)，個數(shù)最多的區(qū)域即為眼球所在區(qū)域。統(tǒng)計該區(qū)域黑色像素的重心，即為眼球的中心點。

1.4 嘴巴識別

根據(jù)嘴巴的物理位置特性，截取人臉矩形區(qū)域下1/3部分作為嘴巴的候選區(qū)域。由于嘴巴基本由紅色組成，而其周圍都是大面積的膚色信息，與嘴巴的顏色有較大的區(qū)別，而且沒有其他非膚色區(qū)域的影響。因此，本文采用膚色識別方法識別嘴巴。

同樣使用Intel公司提供的開源OpenCV視覺庫進(jìn)行膚色分割，調(diào)用OpenCV提供的膚色檢測函數(shù)，對嘴巴的矩形區(qū)域進(jìn)行膚色分割，將非膚色區(qū)域置為白色，將膚色區(qū)域置為黑色，得到嘴部區(qū)域的二值圖像。對其進(jìn)行數(shù)學(xué)形態(tài)學(xué)的腐蝕、膨脹操作，以去除圖像噪聲。得到的嘴巴閉合和張開的二值圖像分別如圖6、圖7所示。

圖6 嘴巴閉合圖像Fig.6 Binary image of closingmouth

對此二值圖像，利用OpenCV提供的輪廓跟蹤函數(shù)得到嘴部輪廓信息。顯然，由于噪聲以及光照的影響，得到的輪廓很可能不止一個。這時，考慮到嘴巴在嘴部區(qū)域內(nèi)是面積最大的非膚色區(qū)域。所以，通過輪廓計算所包圍的面積大小，面積最大的輪廓就是嘴巴的輪廓。本文只選取了嘴巴的最左邊、最右邊、最下邊這3個關(guān)鍵點來表征嘴巴的運動信息，通過遍歷輪廓上的結(jié)點，即能得到這3個點的坐標(biāo)。

圖7 嘴巴張開圖像Fig.7 Binary image of opening mouth

至此，得到每一幀圖像中眉毛、眼睛、嘴巴等7個關(guān)鍵點的位置信息，通過事先與制作好的CG角色面部相對應(yīng)的點綁定起來，就可以實時將設(shè)計人員自己的表情映射到其設(shè)計的CG角色上去，從而達(dá)到良好的效果。

2 實驗結(jié)果

實際中，本文使用了 Logitech HD Webcam C270高清彩色攝像頭，能夠提供800×600大小的單幀圖像。識別出來的關(guān)鍵點，用藍(lán)色圓形標(biāo)記。效果圖如圖8所示。本文制作了一個貓的CG角色，將眉毛等7個關(guān)鍵點和兔子相對應(yīng)的點關(guān)聯(lián)起來，設(shè)計人員在表演表情時，即會在貓的面部上實時體現(xiàn)(見圖9)。

圖8 特征效果圖Fig.8 Effect diagram of features

圖9 人物與角色的對比圖Fig.9 Com parison diagram of people and CG role

3 結(jié)束語

本文針對動漫制作領(lǐng)域的特點，提出了一種方便、快捷的面部關(guān)鍵點表情捕捉方法。該方法不使用粘貼或繪制特征點，僅使用一臺高清彩色攝像頭，通過計算機(jī)視覺等理論，能夠?qū)崟r獲得動漫設(shè)計人員的面部表情，通過眉毛、眼睛、嘴巴等面部關(guān)鍵點的識別，將其與CG角色的面部相對應(yīng)位置綁定，從而實現(xiàn)設(shè)計人員面部表情實時反應(yīng)在CG角色上。為動漫設(shè)計人員提供了一種便捷、高效的面部表情設(shè)計方式。

本文目前僅實現(xiàn)了7個關(guān)鍵點的識別和定位，對于高質(zhì)量的CG角色來說還顯得不夠。而且，由于光照、背景等的影響，關(guān)鍵點的識別精度還有待提高。如何高精度、準(zhǔn)確地獲得面部更多的關(guān)鍵點則是下一步需要重點研究的問題。

［1］風(fēng)之眼.《阿凡達(dá)》中的五大技術(shù)［BD/OL］.(2009－08－31).［2012－04－15］.http://info.cgfinal.com/html/ 2009/0831/30390.shtml.

［2］北京圣思特科技有限公司.FT45面部表情捕捕捉系統(tǒng)［BD/OL］.［2011－12－18］.http://www.senztech. cn/showpros.aspx?proid=41.

［3］北京朝日三維科技有限公司.PS－Face臉部表情跟蹤系統(tǒng)［BD/OL］.［2011－11－20］.［http://www.asahi－3d.com.cn/product/ps－face.htm.

［4］NaturalPoint，Inc.Expression［BD/OL］.［2012－03－23］.http://www.naturalpoint.com/optitrack/products/expression/.

［5］Meta Motion，Inc.FT2000 Facial Motion Capture Software［BD/OL］.［2012－05－10］.http://www.metamotion.com/software/FT2000_software.htm.