虛擬偶像設計中的多層面部微觀研究

孫紅遠 王利麗 劉京京

收稿日期：2023-09-01

基金項目：山東華宇工學院2022年度校級科研計劃項目（2022RW09）

DOI：10.19850/j.cnki.2096-4706.2024.06.004

摘? 要：虛擬偶像在元宇宙背景下獲得了極大的關注，旨在探析虛擬偶像面部的設計與制作中微觀細節如何影響其真實感。分析了手工制作流程與掃描制作流程，對手工制作的低中高模轉化進行了示意，并對各區域毛孔視覺重要性權重和毛孔與微皺紋的基本走勢進行了分析，展示了基于動作捕捉技術下虛擬偶像表情制作流程。得到3+2+1的面部微觀層次和面捕應用流程。強調反走勢層在提升面部真實感與隨機感的重要性，認為應保持虛擬偶像的創作屬性，積極探索新技術對流程的影響。

關鍵詞：虛擬偶像；面部微觀；數字雕刻

中圖分類號：TP391.9? ? 文獻標識碼：A? 文章編號：2096-4706（2024）06-0015-06

Multi-layer Facial Micro Research in Virtual Idol Design

SUN Hongyuan， WANG Lili， LIU Jingjing

（Shandong Huayu University of Technology， Dezhou? 253034， China）

Abstract： Virtual idols have received great attention in the context of the metaverse. This paper aims to analyze how micro details in the design and production of virtual idols' faces affect their realism. It analyzes the manual production process and scanning production process， schematically converts the low， medium and high models in manual production， and analyzes the visual importance weights of pore areas and the basic trends of pores and micro wrinkles. It shows the facial expression production process of virtual idols based on motion capture technology. It obtains 3+2+1 layers of facial micro and facial capture application processes. It emphasizes the importance of counter-trend layers in enhancing facial realism and randomness， and believes that the creative attributes of virtual idols should be maintained， and the impact of new technologies on the process should be actively explored.

Keywords： virtual idol; facial micro; digital sculpture

0? 引? 言

計算機軟硬件、動作捕捉技術的持續進步推動了CG行業的發展，其中虛擬偶像因進一步的“真實”與潮流亞文化的結合，獲得了大量的年輕流量與資本的青睞[1-3]。在虛擬偶像盛行之前，CG行業對寫實角色設計進行了大量實踐，對角色如何擺脫恐怖谷效應，提升真實性提供了有效參考。知名3D角色藝術家艾夫基·易卜拉欣（Sefki Ibrahim）認為人物寫實的重點是將各元素之間的協調配合作為首要目標，因為人腦并不能感知臉部的復雜性。但是這并不意味著面部的微觀細節不重要，相反，它恰恰是渲染出人臉真實油脂感的必要條件。亞當·斯普林（Adam Spring）認為研究解剖結構，深入了解面部肌肉才能讓角色更加寫實，并且倡導全流程手工制作而不是掃描快速獲得模型，另外，他還提到不對稱的重要性。徐衛國也在《數字建筑設計理論與方法》中提到人們往往忽視自然界中的萬物都是非規則形狀這一普通自然現象，這也印證了角色的真實性與對現實世界的觀察和對微小細節的科學把控息息相關。目前關于虛擬偶像的文獻研究主要聚焦在宏觀層面上，研究其發展歷史、與粉絲關系以及傳播影響等，少有研究關注虛擬偶像設計制作中面部微觀細節如何影響其真實感[4-7]。計算機軟硬件和動作捕捉技術的進步推動了虛擬偶像的發展，CG行業對寫實角色設計進行了大量實踐，強調協調各要素、研究解剖結構、注意微小細節和不對稱性以提高真實感。虛擬偶像設計制作追求與現實世界一致的面部微觀，但在數字世界中追求“殘缺”比“完美”更難。部分寫實虛擬偶像的設計已體現面部微觀細節，為后續提供參考。許多研究忽略面部微觀細節對真實感的影響。本文總結虛擬偶像的手工PBR（Physically-Based Rendering）制作流程，分析面部微觀在3D技術中的應用，探索面部微觀細節如何提高虛擬偶像的真實感[8-10]。

1? 虛擬偶像的手工制作全流程

手工制作是指流程中的設計內容均手動繪制，但并不抵制掃描素材，反而應融合新興掃描技術所產出的三維模型、ALPHA貼圖等資產提升效果。PBR次世代建模流程是目前行業主流制作流程，它的主要特點有兩個，第一是由多張貼圖控制模型的最終效果，其二是流程中的烘焙環節，可以使低面數模型呈現如多面數模型相同的渲染效果，極大的節省計算機資源，使渲染精度得到進一步的提升，在這一環節中不同于游戲行業的是，虛擬偶像制作中會將高模信息烘焙成置換貼圖而不是法線貼圖，且整個流程中都不會使用法線貼圖，主要是使用離線渲染器的原因。

虛擬偶像的制作流程可分為自動和手工兩個大類，自動生成類又包含很多小類，如人體掃描、捏臉生成等。人體掃描是指通過使用多個造價昂貴的攝像頭搭建好的硬件環境對人像或人體進行數據采集，生成多面數的模型與逼真的貼圖。捏臉生成技術是指用戶可以通過直觀的UI界面調整五官、服飾、表情等，在規定的框架內完成虛擬角色的制作，使虛擬偶像制作具備工業生產的特點，門檻低、大批量、低成本。這種制作流程可用“下限高，上限低”來總結。手工制作普遍是指角色制作中的雕刻、建模環節是手動操作，旨在使角色的外形與細節更加符合人物設定，提高表現力與契合度的上限，這是因為由于面部的狀態受紫外線、空氣、化妝品等方面的影響，不同地區、海拔、保養手段下的面部狀態是不同的，例如生活在亞熱帶季風性濕潤氣候地區且每天科學護膚的年輕女性與生活在高原山地氣候且只是用簡單護膚手段的中年男性的面部狀態差距較大。

圖1為手工與掃描兩種制作流程和流程中所涉及的設計內容，盡管二者在步驟上有些許差別，但過程中二者的核心特點，手工制作與掃描資產都有一定的交融。在手工制作流程中通常會使用到皺紋掃描資產、貼圖掃描資產或模型掃描資產輔助制作，掃描制作流程中因掃描環境導致的模型貼圖誤差，掃描資產與設計方案貼合度等問題通常也需要使用到手動拓撲或雕刻。

手工制作的全流程可分為前期、中期、后期三個階段，每個階段都包含不同的設計內容。其中前期階段旨在確定人物設定和模型初構，人物設定不僅涉及具體五官形狀等初級外在設定，還需要考慮到人物的內在性格如何標簽化、可視化，例如安靜內向、踏實穩重、潮流先鋒、音樂達人等人物標簽都是內在性格的衍生品，再由服飾、配飾、妝容、發型等設計影響外在形象，可視化人設標簽；在完成人設設計后，通過建模與數字雕刻生成中模完成模型初構環節。中期階段則是利用中模進行進一步細致雕刻，先增加細分曲面使其變為多面數模型，即高模，以獲得更多可控的點、線和面，低中高模對比如圖2所示。在增面前，為了后期制作更加便利，增加原始模型的可控性，需要將中模進行多邊形面重拓撲，減面成為低模，再增面至中模雕刻，最后升至高模，經歷中模—低模（規范布線）—中模（規范布線）—高模，如圖3所示。

圖1? 虛擬偶像制作流程圖

圖2? 低（左）中（中）高（右）模對比

圖3? 手工流程中的低中高模轉化順序

2? 數字雕刻中的面部微觀分析

醫學、解剖學有一套科學、真實的人體學說，為三維設計視角中的人體構造提供了有力借鑒，不同于真實世界中復雜的人體構造，數字世界中的虛擬偶像制作主要聚焦在面部的微觀實現，是因為虛擬偶像的面部出鏡率和關注度遠高于身體其他部位，可以依靠數字化作品的特性節省制作成本，將有限的資源優先分配至面部制作。其次，在建模與雕刻環節中，制作以現實世界中表皮層、真皮層和皮下層等多層次綜合呈現出的視覺效果為參考，在數字模型的表皮層單層雕刻呈現，即可營造可以媲美真實皮膚質感的視覺效果，是三維設計中常用的視覺欺騙手段，以節省制作成本和計算機資源。

如上所說，虛擬偶像制作中面部制作權重遠高于軀干，且前期需要控制制作成本和節約計算機資源，不同的人設需要不同的面部微觀制作方式，即更精確的面部劃分，確立具體的微觀制作區域。例如男性通常搭配短發，那么因頭部兩側短發使頭皮部分裸露出來時，需要在頭部制作更多的毛孔細節，防止人物頭發出現漂浮感，但女性可以搭配長發使大面積的頭皮被遮住，這樣只需要制作小部分裸露出頭皮處的毛孔細節即可，極大的降低制作成本與計算機資源。另外，人臉的微觀細節極其復雜且不統一，每個臉部區域因肌肉使用程度不同、結構走勢不同、受后天影響方式不同等情況所呈現出的微觀細節也不同，所以使用三維建模技術對其復刻前，首先確定具體的面部雕刻區域，其次分析不同區域微觀細節的差異繪制視覺重要性權重圖作為后續制作參考，保證其真實性。以亞洲年輕女性為例，在確定長發的基礎上，根據真實的人臉繪制面部各區域毛孔視覺性權重圖和面部微觀走勢圖，如圖4、圖5所示。毛孔視覺性權重圖將面部劃分為十個區域，展示了各區域毛孔、微皺紋等面部微觀的視覺性強弱。權重的高中低由顏色紅黃藍表示，紅色越多的區域代表此區域不僅存在毛孔、微皺紋等微觀細節的制作需求，還表明此區域因處于臉部核心區域，位置明顯或肌肉使用度高導致的褶皺明顯、毛孔較粗大、密集，視覺觀察中更為明顯，在以視覺為主的三維制作中權重最高；藍色意為此區域因后期渲染鏡頭中無表現鏡頭或毛發、配飾等遮蓋，所以在節約成本的前提下不再制作微觀細節。額區、鼻區與眼區為視覺重要性權重最高的三區，不僅是因為此三區的面積大，處于面部核心區域，還因為面部表情對三區的影響更大，產生的皺紋更多，在雕刻權重值高的三區時，毛孔間隙稍大，筆刷強度最高，除基本毛孔外需要添加皺紋、脂肪粒、痤瘡等微觀細節；顴弓區、嘴區、頦區、腮區面積相對來說較小，但區域位置部分處于核心區域，部分處于核心邊緣區域，毛孔制作需求高，需要根據肌肉走勢仔細刻畫微觀細節，重要處應制作多層瑕疵微觀，豐富視覺層次，但需要說明的是唇紋如瞳孔、口腔內等微觀細節應單獨計算，因此并未算入此次權重分析中；下頜頸區、頸區、顳區三區雖然面積較大，但部分區域涉及毛發、配飾遮蓋區域，權重最低，且區域位置處于弱核心，此處的毛孔制作往往密度高，但強度不高，瑕疵微觀層的制作需求低；

圖4? 各區域毛孔視覺重要性權重圖

圖5? 面部各區域毛孔與微皺紋的基本走勢

面部肌肉的不同走勢影響著面部毛孔的排布與微皺紋的方向，每個經過細分后的面部區域內的微觀走勢都存在一定的不規律性，是錯綜復雜的。圖5展示了面部各區域的基本走勢，但并不代表區域內所有的毛孔和微皺紋皆按照走勢一成不變，在提高真實感和豐富層次感的目的下，應制作相當數量的“反走勢”的微皺紋。反走勢意為與精細區域內的基本走勢方向相反或有一定的偏差，制作順序應在符合基本走勢的毛孔和微皺紋之后，提升凌亂感、隨機感，符合自然界產物的非對稱、非線性規則。以核心區域中的眼輪匝肌附近的微皺紋為例，基本走勢如以附近一點為起點做圓周運動，可以形成一個橢圓形的閉環，此區域的反走勢如果為單純的反向圓周運動則軌跡與正向圓周運動重疊，無法提升層次感、隨機感，所以對反走勢中的反字并不僅是相反，而是更大范圍的不同，因此合適的反走勢方向應與基本走勢多向穿插相交，且勢弱于基本走勢內的毛孔與微皺紋。

3? 數字雕刻中的多層面部微觀

多年前因受限于計算機軟硬件等原因，肉眼可以很輕松的分辨真實世界產物與數字世界產物，而隨著近些年的發展，數字世界產物的真實性逐年提高，真實世界與數字世界開始交融，二者之間的界限從原先一條銳利、明確的分割線開始變成一團向四周擴散的煙霧。之所以在視覺上人們很容易就能分辨出是否是真實世界，除了人們每時每刻都在進行視覺真實度訓練，更重要的是某一物體呈現出的視覺效果是多層次、多維度的，例如生活中最常見到的A4紙，它的視覺多層次體現在本身的基礎材質表現、空氣中的灰塵、紙張絨毛、打印油墨等多層復合堆疊，而他的多維度體現在與空間內其他介質產生的交互效果，介質有肉眼、自然光、人造光、遮擋物等。同樣，面部微觀細節也是多層次多維度的，在三維設計中模擬真實人臉狀態的核心是面部油脂感和與空間介質交互后產生的瑕疵模擬，基于此，本文將視覺導向的面部微觀細節歸納為3+2+1層，即三層先天基礎層、兩層后天瑕疵層和一層利用掃描素材加深細節的提高層，如圖6所示。前三層基礎層分別為毛孔、走勢微皺紋與反走勢微皺紋，這三層細節奠定了面部紋理基調，毛孔通常根據前期人設確立的信息先繪制單個毛孔，繪制方面主要為毛孔的大小、深度、肉感和擠壓出的延伸皺紋強度；每四個單毛孔通過菱形排列為一個毛孔組，多個毛孔組的邊緣相接時仍以菱形排列，最終組成一個毛孔群，隨后即可以毛孔群為基本單位，平鋪整個面部毛孔；走勢微皺紋層與反走勢微皺紋層都是在毛孔層之上的細節層，走勢層的特點是完全符合面部肌肉的走向規律，在特定區域內所有的走勢皺紋都是整齊劃一，沿著肌肉的方向規律排布，反走勢皺紋則是根據走勢皺紋的方向進行隨機游走，交叉穿行，反走勢層不僅是模擬皮膚與其他介質產生的交互效果，更是在與走勢層相堆疊后，產生皮膚擠壓感，增強皮膚肉感，為反射光提供更多的落腳點。兩層的后天瑕疵層歸納為凸起層和凹陷層，真實的人臉狀態絕不是光滑無暇的，此層為皮膚在受到后天多種因素如激素影響、紫外線、日常磨損等影響下產生的凹凸，是不對稱且充滿隨機性的，既是豐富皮膚狀態層次，也是在遵循自然界規律的設計原則下提升角色的真實感與可信度。其中凸起層主要包含粉刺、丘疹、膿皰、囊腫和毛發糠疹，凹陷層主要包含痘印、痘坑、膨脹紋等，凸起層與凹陷層并不是完全重疊的，它們有重疊區域，也有各自獨立存在的區域，進一步的契合隨機性。瑕疵層通常分布在油脂分泌旺盛的區域，如鼻區和顴弓區，但有些區域的瑕疵層更有針對性，例如眼區分布最多的脂肪粒，頸區分布最多的橫紋與毛發糠疹，嘴區與鼻頭分布最多的粉刺與黑頭。最后一層為提高層，使用掃描真實人臉后得到的ALPHA紋理加深面部各區域的定向走勢細節，尤其是特定區域的特定紋理，如唇線、唇紋和眼輪匝肌附近的交叉紋理，將掃描素材作為最后一層提高手段而不是全局手段，主要原因是掃描素材混有雜色與顆粒，過多使用容易破壞面部視覺性中的平滑感，另外，掃描素材的過多應用也是對角色本身創作性的一種破壞。

4? 基于面部捕捉技術制作角色表情

通過MAYA融合變形功能制作角色面部表情動畫是行業主流方法，具體是通過更改基礎模型點線面的空間位置關系并記錄下來，再將各部分的動畫通過連接編輯器實現聯動。BS動畫主要分為眉毛部分、眼睛部分、鼻子部分、嘴巴部分、口腔部分，其中還包含一些特殊表情，表情的命名與具體的形狀改變主要參考METAHUMAN和IPHONE的51套BS。過程中以MAYA的軟選擇和雕刻模塊作為模型形變的主要手段，以ZBRUSH的圖層與雕刻為輔助手段，反復調整點的位置。BS表情繪制完成后需要通過連接編輯器使部分BS表情產生聯動，例如重點表情JAWOPEN（張嘴）中，上牙床和上牙齒是需要保持不動，但下牙床、下牙齒和舌頭是需要張開的；眼睛的轉動也需要與淚腺、淚阜聯動。在BS面板連接好各個需要聯動的部位后，需要再將BS連接到控制器。

BS面板與控制器連接是靠動畫模塊中設置驅動的關鍵幀，當控制器組件平移Y軸時，BS動畫或骨骼的權重值變為1，設置關鍵幀產生聯動，如此反復后綁定所有表情至控制器。骨骼動畫與控制綁定需要在節點編輯器中選中各自變化的組件節點后，通過節點的屬性值連接綁定。BS表情與骨骼和控制器聯動圖如圖7所示。

圖7? BS表情與骨骼和控制器聯動

演員使用FACEWARE面部捕捉頭盔中的GOPRO錄制用于后續解算的視頻，視頻拍攝前的格式設置為Linear，24FPS，1 440P，界面如圖8所示。拍攝好的視頻需要導入AVATARY平臺中的TRACKER進行追蹤，追蹤分為兩個階段，自動與手動補齊，在手動階段，需要選擇視頻中演員動作幅度較大的幀，對齊追蹤點，反復對齊結算后導出RETARGETED文件導入MAYA進行綁定。

在MAYA中使用RETARGETED插件，視頻文件進行參考，自動生產在TRACKER中標記的關鍵幀動畫，再手動修正各關鍵幀，再次反復計算后得到較為流暢的動畫，如圖9所示。最后烘焙動畫至干凈的場景，提取上下眼皮的曲線，使用變形修改器中的線性修改器使曲線控制睫毛的運動，再使用變形修改器中的包裹變形器使曲線與眼皮聯動，這樣曲線又可以帶動睫毛完成整個聯動。添加燈光，修改攝像機參數與渲染參數，即可開啟離線渲染。

圖8? 演員佩戴面捕頭盔與追蹤點

圖9? 在MAYA中分析追蹤點與控制器聯動

5? 結? 論

本文總結了虛擬偶像設計領域中的兩種主流制作手段，即手工制作流程和掃描制作流程，說明了二者在流程和設計內容上存在交融和協作的，并基于面部微觀細節視覺重要性權重分析和各區域毛孔與微皺紋走勢的分析下，提出寫實的面部微觀細節是多層次多維度的，將其劃分為3+2+1層，其中反走勢層與走勢層的關系應是多向的穿插相交。虛擬偶像設計在三維設計領域中的游戲角色設計獨立出來的契機來自元宇宙概念的爆發和、計算機技術和掃描技術的發展，技術的快速迭代意味著實際制作流程同樣需要更新，雖流程多變，但面部寫實表現的底層邏輯不變，本文在參考醫學、解剖學中面部的相關信息，結合觀察法以設計的視角探析虛擬偶像的真實性表現，為后續的設計制作提供理論參考。目前掃描技術在虛擬偶像制作中通常以靜態掃描為主，并且掃描得到的模型與貼圖并不能直接應用，包括目前人工智能在流程中也只能起到輔助設計的作用，并不能完全替代手工制作，但技術的快速迭代要求設計制作者應跟緊步伐，例如動作捕捉技術已經可以在一定程度上取代手動綁定，逐幀制作動畫，AI作圖可以幫助設計者快速確定角色設計方案，未來虛擬偶像設計制作的發展應緊跟技術潮流，在優化流程的同時也要保證真實性、合理性，探索設計者的時代新職能，單純的復制真實人類到數字世界中絕不是虛擬偶像設計的最終目的，而應融入創作思維，成為真實世界與數字世界的協調者。

參考文獻：

[1] 劉慶科，廖朝驥，薛峰.“元宇宙”背景下數字虛擬角色的發展趨勢研究 [J].工業工程設計，2022，4（6）：44-52.

[2] LEMPERLE G，HOLMES R E，LEMPERLE S S M. A classification of facial wri [J].Plastic and reconstructive surgery，2001，108（6）：1735-1750.

[3] 儲士博.二次元虛擬主播在中國發展優劣淺析 [J].中國傳媒科技，2023（10）：74-78.

[4] 姚睿，黃汀.當代虛擬偶像的傳播路徑與產業模式——以虛擬偶像團體K/DA為例 [J].現代傳播：中國傳媒大學學報，2021，43（11）：125-130.

[5] BAKAN U. Examining the uncanny valley effect in virtual character design for digital games [J].Journal of Print and Media Technology Research，2021，10（2）：119-132.

[6] 高存玲，范珈碩.為洛天依寫歌：虛擬歌手粉絲創作者的情感勞動 [J].中國地質大學學報：社會科學版，2022，22（3）：147-156.

[7] 薛靜.“我愛故我在”：虛擬偶像與“情感真實主義” [J].文藝理論與批評，2022（6）：115-126.

[8] 蒲璐.次世代下虛擬偶像的文化符號與認同建構研究 [J].四川職業技術學院學報，2022，32（5）：140-146.

[9] 林進桃，譚幸歡.虛擬偶像：數字時代網絡IP的升級與重構 [J].電影新作，2022（1）：79-86.

[10] 牛旻，陳剛.基于虛擬偶像符號的品牌形象設計與傳播 [J].包裝工程，2021，42（18）：282-286.

作者簡介：孫紅遠（1996.01—），男，漢族，山東德州人，助教，碩士，研究方向：三維設計、虛擬現實；王利麗（1990.04—），女，漢族，山東濟寧人，講師，碩士，研究方向：虛擬現實；劉京京（1995.06—），女，漢族，山東淄博人，助教，碩士，研究方向：廣播電視。