從MotionScan看面部動態捕捉的改進和發展

從MotionScan看面部動態捕捉的改進和發展

周飛

（湖北經濟學院，湖北武漢430205）

摘要：本文旨在研究2010年公開的由澳大利亞Depth Analysis研發的面部動作捕捉技術Motion Scan；討論了傳統動作捕捉技術對于面部和肢體語言捕捉的處理和不足；系統介紹了Motion Scan技術的基本原理，處理方式和相關工具；分析了面部掃描技術的優點和不足；最后作者提出了面部動作捕捉未來的改進方向。本文是一篇對面部動作捕捉技術進行深入淺出的探討的文章。

關鍵詞：動作捕捉；面部掃描；Motion Scan

項目基金（注：本文受湖北經濟學院校級青年項目“動作捕捉技術在影視動畫和游戲中的應用”的資助，項目編號：XJ201319）

一、傳統面部動作捕捉中的主要問題

臉部動畫技術是動作捕捉技術的一種特殊形式。[1]近年來已經不斷被加入到各種主流影視娛樂片的特效環節中。在傳統的動作捕捉技術中，表演者需要站在藍色或者綠色的背景幕布前，身著帶有白色標記點的黑色緊身衣。這些白色的標記點能夠被攝像機識別。[2]當演員運動的時候，（由于背景被設置成藍色和綠色，對于攝像頭而言，背景是空白的）這些標記點能夠在沒有任何遮擋和障礙的情況下被記錄它們的空間運動軌跡。

數據捕捉之后，動畫師可以利用捕捉到的動作數據來創建一個和演員表演動作看來一模一樣的數碼骨架傀儡。借助功能強悍的軟件的幫助，動畫師可以讓這個數碼傀儡的動作被應用到任何他們想要的數碼角色模型身上。[3]如此一來，動畫師就如同操縱傀儡的人偶師一樣。但是，這種方法做出來的角色動畫共同的問題是：

（一）缺乏精準的角色肢體語言

（二）缺乏生動寫實的角色面部表情

對于游戲設計師而言，這是一個很重要的問題，因為人類被肢體語言所驅動。我們在日常生活中能夠識別多達250000種不同的面部表情，并且在人類與他人交流的交流方式中，有65%是肢體語言和面部表情。

最早在2010年公布出來的motion scan技術就是為了解決這個問題而被開發出來的。它能夠通過一套系統去詳細捕捉表演者的面部表情，并能夠在最終結果里清晰的體現出諸如開心和沮喪，好奇和不關心，等角色情緒上的差異。

二、動作掃描系統Motion Scan

Motion Scan是由一家澳大利亞公司Depth Analysis研發的動作捕捉技術。該公司也是澳洲著名游戲公司Team Bondi[4]的姊妹公司。該技術最早在2010年的E3游戲大展曝光，并在2011年應用在ps3平臺的視頻游戲“黑色洛杉磯”[5]中。和其他動作捕捉設備所不同的是，motion scan使用了32個高清攝像頭來捕捉演員的表演，且演員無需穿戴任何特殊的服裝或標記點。[5][6]該系統捕捉32臺立體陣列在演員四周的高清攝像機的畫面以便捕捉演員的臉部。這一系列的視頻數據被傳輸到電腦系統，并使用立體成像技術逐幀生成演員的三維模型。數據當中包含的內容是一張組合而成的從每個攝像機角度觀察到的紋理貼圖和法線貼圖。數據的處理過程包含在后臺的捕捉過程中，并且有多個可調的參數以便于滿足客戶的需求。[7]一旦這些參數被選定，數據就被傳輸到等待處理的服務器中。處理器的數量決定了數據處理的速度。Depth Analysis公司目前使用了64枚處理芯片，根據客戶的需求他們可以繼續增加配置來加快處理速度。[5]在數據處理的環節沒有客戶介入，因此該過程是不受干擾的。[8]

Depth Analysis公司也為游戲開發商和電腦動畫公司研發了一套工具。為3ds max motion builder開發的一款插件，可以讓用戶結合motion builder即時捕捉演員的面部表情并創建游戲或者電腦動畫的影片橋段。這意味著，電腦動畫團隊可以利用它來快速看到他們想要的鏡頭效果。而對于游戲開發的團隊而言，Depth Analysis公司提供了一個服務器設備，允許設計師和藝術家可以將不同的表演和對白進行混合，匹配，修剪，并將之用于視頻游戲開發中。Depth Analysis公司為“黑色洛杉磯”（L.A.Noire）這款游戲捕捉了超過50個小時的原始素材，[5]最終在游戲中使用了21個小時的對白。而motion scan在游戲中的代碼可以整合到任何游戲引擎中。

三、Motion Scan中體現出的問題和未來面部動作捕捉的發展

Motion Scan技術做到了精確捕捉角色面部表情，并能夠讓玩家在游戲中通過虛擬角色的面部表情進行劇情的推理決策。這對于面部動作捕捉技術在游戲中的應用無疑是具有劃時代的意義的。[9]然而Motion Scan仍然并非完美的。從最終呈現的結果來看，還存在以下一個明顯問題：

（一）游戲中人物視線經常無法匹配。這是因為在進行動作掃描的過程中，每個演員單獨表演所導致的。

（二）游戲中人物的面部表情、頭部運動和演員的身體運動不搭配。這也是因為該技術在捕捉的時候將面部表情的捕捉和身體動作的捕捉分開進行的。

（三）游戲中角色瞳孔的聚焦和游戲場景不匹配。這是因為在動作掃描技術中，而且角色無法精確把控最終游戲中虛擬場景和物體與他自身的相對位置。

以上幾點指出了未來面部動作捕捉技術的改進方向：

（一）嘗試在動作捕捉的過程中，同時將角色的肢體語言和面部表情進行全面捕捉。只有如此才能有效的解決因面部

和肢體分開捕捉而帶來的面部表情和肢體動作不匹配的怪異現象。

（二）嘗試復數個主要演員同時進行面部和肢體的動態捕捉，用以解決和改進角色之間視線不對接的問題。

（三）對于出現面部特寫的主要場景進行面部動作掃描的時候，提供最終虛擬場景中主要互動物體的精確定位，用以解決角色瞳孔聚焦點和虛擬場景不匹配的問題。

四、小結

傳統面部動作捕捉技術體現出來的缺乏面部表情和精細肢體語言的問題已經無法滿足日益高清的游戲畫面和更加寫實的虛擬體驗的要求。Motion Scan技術的出現劃時代的改變了這個現狀，并給于視頻游戲玩家更加真實的虛擬現實體驗。盡管它并不完美，仍然有不少問題，但是可以發現，人們對于面部動作捕捉技術的關注和挑剔已經聚焦到了瞳孔級別了。這不僅表明面部動作捕捉技術的精度的飛躍，也暗示著未來面部動作捕捉技術將朝著更加精細和復數化同時捕捉的方向去發展。

參考文獻：

[1]廖小兵.表情動畫在動作捕捉系統中的實現[J].出版與印刷，2009，（2）：39-41.

[2]賈云鵬，周峻.作為技術史的藝術史——從《阿凡達》看電影技術的變革[J].北京電影學院學報，2010，（3）：21-28.

[3]張雨.基于動作捕捉的虛擬運動與用戶身體自然性表達[D].哈爾濱工業大學，2010.

[4]Crecente, Brian (November 13, 2010).“Why Gameplay In L.A. Noire’s New Trailer May Not Matter”[J].Kotaku. Retrieved 4 September，2011.

[5]Horner, Kyle. "The "Fallout" of MotionScan"[J]. 1UP.com，2011-09-04.

[6]Peckham, Matt (4 February 2011). "In L.A. Noire Asking Questions Trumps Firing Bullets"[J]. PCWorld，2011-09-04.

[7]McMillen A. Why Did LA Noire Take Seven Years to Make?[J]. IGN. com, 2011.

[8]Gosling T A N. A Technical Analysis of Facial Motion Capture Systems.

[9]Zielke M A, Dufour F, Hardee G. Creating Micro-expressions and Nuanced Nonverbal Communication in Synthetic Cultural Characters and Environments[C]//The Interservice/Industry Training, Simulation & Education Conference (I/ITSEC). National Training Systems Association，2011，（1）.