“靈”同學：你從哪里來？

刁雅琴 王新偉

“我叫‘靈，是‘挑戰杯001號參賽者，我將與大學生參賽者同屏參與、同臺競技”2023年3月17日晚，第十三屆“挑戰杯”全國決賽開幕式的現場大屏上，北京理工大學數字人科研團隊“孕育”的“挑戰杯”辦賽史上的第一位數字仿真人——“靈”閃亮登場。

自2015年起，北京理工大學光電學院翁冬冬教授的課題組開始圍繞虛擬現實技術和數字人光場重建技術，開展了大量文化科技融合的前沿研究。

團隊堅信，隨著人口老齡化和信息技術的飛速發展，未來人類在虛擬環境中的時間會大幅增加，人與人的交往將更依賴沉浸式互聯網完成。當用戶戴上VR眼鏡，進入三維互聯網世界后，數字人就成為人類在虛擬世界的重要傳輸載體。它不僅能代替人在虛擬世界中傳情達意，還能在虛實場景中進行交互，讓用戶擁有完整的虛擬感官體驗。

在團隊的多次調研中，他們發現數字人的商業價值早已不容小覷。2021年5月，超寫實數字人“AYAYI”亮相小紅書，其發布的第一篇筆記就收獲了近300萬閱讀量和10萬+點贊，一夜間漲粉4萬人，它的整個商業估值達6億人民幣。而這還只是一個2D虛擬人物形象。

數字人能實現7*24小時不間斷的服務，這極大降低了企業的人力成本，更重要的是數字人的價值主體、數字資產都歸公司所有。事實上，今天已有一批數字人涉足了不同產業和領域，如游戲主播、博物館虛擬講解員、虛擬教師、虛擬主持人等。

“神韻”何來？

光學工程專業2020級博士生包儀華是最早加入北理工數字人科研團隊的同學之一，負責數字人技術迭代和表情驅動的她始終困惑于老師所強調的“感覺與神韻”，“‘感覺與神韻這種美學范疇的抽象觀念，確實很難被我們以相對客觀的技術表達來呈現。”包儀華笑著說道。

人類的表情是個復合構成，每個人的面部都由44塊表情肌組成，它們與血管、骨骼相互配合，形成表情。科學研究表明，人類的面部最多能組合出5000多種不同的表情。哪怕一個最簡單的微笑，牽動的也不只是嘴角，還有臉頰、蘋果肌和眼角的微微顫動，不然就成了皮笑肉不笑。

除了相貌的差異，光線打在不同人臉上也會產生不同效果。比如年輕女孩的皮膚透亮、紅潤，血氣方剛的小伙子臉上常常油脂旺盛，老人的皮膚則缺少光澤和彈性。此外，真實的人眼里有光的反射點，如果數字人的眼球只有白色鞏膜和黑色瞳孔，目光看起來就很無神。所以，想要做出栩栩如生的數字人，面部高逼真、表情自然生動是第一步。

包儀華清楚傳統復現真人的做法，是由原畫師一幀幀畫出來。作為光電專業的學生，他們顯然不具備專業的繪畫功底，利用光學專業知識和相機成像的基礎技術成為首選。團隊把畫家作畫模式變成了他們擅長的數字拍攝模式，自主研發了3D光場采集重建系統，利用“照相術”替代“繪畫師”打造高逼真可實時驅動的數字人。

在北理工光電學院的數字人實驗室里，成員們搭建了一個特殊的“大球”，它由80個三角面，42個頂點和120條邊組成。邊的中點和頂點上安裝了156組可編程LED燈源，球形燈光舞臺圍繞其中心均勻排布32臺佳能850D相機，可對用戶的多種表情進行采集，并得到不同光照，不同視角，不同偏振狀態的圖像數據。

被采集者坐在“大球”的正中央，根據要求作出各種表情。在快門頻繁開合間，團隊獲得了梯度光場下的圖像，經過后臺算法的解析，他們重建了人臉3D模型以及基于物理模型的皮膚貼圖，不僅讓人的臉部特寫有了真實皮膚質感，就連面部毛孔、鼻子上的小痘痘、臉上的小斑點乃至皮膚紋理都清晰可見。

復現人的表情神態需要更細致地拆解。首先是掃描被采集者的面部肌肉運動、臉部的皺褶等，再根據模特作出的表情，編碼成幾百個基礎表情元素。比如完全閉上左眼、左眼半睜開、完全閉上右眼、嘴角向上微微揚起但人在做表情時，臉上很多部位是聯動的。所以，負責數字人面部模型重建和動作捕捉的田澤俞博士要先將已掃描出的表情拆分成單個的表情元素，再根據實際需要，將這些元素重新組合起來，構成新的表情。

但此時的數字人仍是2D的，想讓它在3D虛擬世界里動起來，就需要實現數字人的個性化驅動能力。團隊專門打造了另一套動態面部捕捉的4D系統，通過高速相機的矩陣，逐幀采集并重建演員的動作，達到了個性化的面部運動采樣與捕捉。

這套4D動態設備與3D靜態光場采集系統聯合捕捉人的表情、運動特征和個性化信息，以此構建了數字人完整立體的形象數據集。

克服“人工智障”

硬件設備置辦齊了，數字人團隊迫切希望采集更多人的數據。因為人的一個表情，至少可以拆成近10個表情，之后再通過算法讓這些表情運動起來，又能組合出來上百種表情，從而能達到傳遞微妙信息的效果。

采什么人呢？基于北京理工大學同中央戲劇學院簽訂的戰略合作協議，團隊聯系了中戲宋震教授負責的戲劇數字化團隊進行這部分數據采集的合作，宋教授給他們很大幫助。包儀華解釋，之所以選擇專業的演員，不僅因為這些人有著符合大眾審美的外貌，讓人第一眼見到就賞心悅目。還因為他們受過專業的表演訓練，能夠做出更豐富、更準確的表情和動作，還能更精準地傳達自己的情緒，即表演級表情。他們的表情驅動力比那些只能拍硬照的網紅、模特更符合要求。

但數據采集過程中遇到的困難遠比想象中多。負責數字人數據采集與驅動的于秦伯是電子信息專業的研三學生，他2020年剛進實驗室時，自主研制的核心光場正在飛速迭代中，但總還有些“人工智障”，設備的穩定性和自動化難以達到標準，算法也有一定的優化空間。

為方便進行采集和后續的合作，2020年9月，團隊將整體設備遷移到中戲。按要求，光場應放在無光環境下，但當時可以放置設備的地點只能在樓頂帶有天窗的畫室，對于采集環境來說并不達標，團隊緊急協調，在中戲老師們的幫助下采用遮光簾暫時進行了光源的隔斷，但設備打開后的溫度問題仍然存在，再加上老樓沒有保溫層，光場里布滿了LED燈和相機鏡頭，雖然開了空調，但屋子里始終熱氣騰騰，為了給設備散熱，于秦伯給每個設備都加上了風扇，導致工作時，光場的噪音極大，人機交互體驗不好。

由于早期技術還在迭代，錄完的數據精度不夠完美，仍然需要一些人工操作來實現數據的重建。而系統不穩定也導致了小麻煩頻出。不是演員剛做幾個動作，系統卡住了。就是演員做完動作后，數據怎么都出不來，設備連續工作過熱，需要散熱和調試。平均每半天到一天才能采集一個人的數據，每天最少持續工作八九個小時，整個數據采集周期大約持續了兩個多月而后期的數字人重建和制作又是一個漫長的周期，雖然已經比傳統影視行業動輒以年為單位計算快了很多，但仍然沒達成老師理想的“一鍵生成”。于秦伯粗略計算過，當時還原一個數字人物資產并實現實時驅動，至少需要奮戰兩個月。

田澤俞心里更急，運動攝像機1秒可以錄60幀，也就是60個細微的表情。而1秒的數據量約是3GB，采集完1個人的信息得有4？5TB的數據量。數據量呈百倍地增長，光靠人力根本無法完成，必須改進技術，實現批量化和自動化的分布式處理，解決數據量大的問題。

好圖像是一切基礎的開端，想提高精度、降低誤差，必須做好相機的選型及硬件系統的聯調。首先得了解每款相機的各種參數值，然后將它們有機組合成一個整體，這樣才能捕獲到團隊想要的數據，這是個系統工程。

光場所需的相機大多是外國產的工業相機，價格昂貴，一個相機頭動輒四五萬元人民幣。再加上需求量小，國內廠家通常不存現貨，購買就直接從國外發貨。為了不造成不必要的損失，田澤俞翻閱了大量的專業資料，先從原理上進行驗證和構思，再按要求找機器。如今動捕房內已有14臺工業相機，能達到不錯的效果。

要想相機照明好，就得縮短快門，以避免運動畫面模糊，這涉及到軟件成像、電路及計算機的三維幾何測量等知識。但能借鑒的資料實在太少了，田澤俞所找到的相關論文中并沒有具體的實現細節，更找不到工程實踐的經驗，不僅如此，他們也沒有現成的函數庫、現成的軟件供使用。為了減少流程中出現的潛在問題，所有細節必須系統管理，很多底層算法、底層流程控制軟件都要團隊自行開發。

相機的手調也是個專業技術活。因為每個人坐的角度、姿態、身高、身材不同，基本上每進去一個人后都要調試相機的姿態精度、成像參數、攝像參數等。不僅如此，光場中300多盞LED燈前的偏振片，也需要一個個校正角度。在開機運行了一段時間后，相機表面溫度已足有六七十度了，那感覺就像手里攥著一只發燙的燈泡，但田澤俞不能戴手套，因為那樣就無法精確對焦，每次一圈調試下來，他的雙手總被燙得通紅。但調好后的圖像果真更清晰了，就連人嘴上的汗毛都看得真切。

經過團隊的小伙伴一次次技術迭代，在今天的第六代核心光場中，軟件的穩定性和流程的自動化程度均得到大大的改善。機器在采集到人的靜態、動作數據后，能快速送入后臺系統，按要求自動生成符合要求的模型，制作完善一個人物資產的時間被縮減到一兩周內。

AI大腦和AI小腦

除了高逼真，數字人技術要想走得長遠，必須實現“可交互”功能。北理工數字人團隊給出的解決方案是AI大腦和AI小腦的結合。團隊中負責人機交互的光學工程專業研二學生杜秋欣解釋：AI大腦賦予了數字人邏輯思維能力，AI小腦則能讓數字人擁有運動能力。

“AI大腦”負責實現數字人自然語言的處理、知識管理、對話系統等功能，實現對多個業務系統的實時連接，提供人機交流的主題邏輯功能。但問題是，人與人進行溝通時，人的微表情、細節、神態等多模態信息，都是邏輯腦無法解決的，那該怎么辦呢？基于采集到的行為資產，團隊專門訓練了一個驅動數字人運動的深度學習網絡，?將AI大腦和小腦相結合，這樣做出來的數字人不僅超逼真，也十分有智慧。

作為團隊的最新作品，“靈”的面部表情由800多根“骨骼”協同控制，而面部材質則由82個材質參數進行動態調整。她是語義、語音、視覺三大AI技術融合的結晶，代表著未來人機交互的新范式，是未來元宇宙世界溝通真實與虛擬的關鍵。

包儀華和團隊的小伙伴堅信，未來在AI技術的支持下，一定能實現機器與情感的連接和流動，終將會有更真實的數字人參與人類的生活。

責任編輯：刁雅琴