人機交互在虛擬制作中的應用研究

劉 碩 龔雨楠

(1.北京尼諾時空文化科技有限公司,北京 102400)

(2.北京電影學院美術學院,北京 100088)

近年來,計算機圖形圖像技術的快速發展,以及AMD 和NVIDIA 等硬件設備的進步,為影視制作提供了新的工作方式的可行性,即虛擬制作。在影視制作領域,虛擬制作早已不是一個新鮮的概念,它可以指代一系列計算機輔助電影制作的方法。維塔數碼團隊對虛擬制作的定義是:“虛擬制作是現實世界和數字世界交融的區域?！碧摂M制作中的技術預覽、后期預覽已經過多年發展,應用到了不同的影視項目中,高質量的渲染結果和更快的渲染速度讓預覽的視覺效果持續進步。同時,現場的實時視覺特效也有了新的突破,美劇 《曼達洛人》的制作幕后讓實拍LED 背景墻的虛擬制作方式受到了極大關注,引起影視行業的廣泛討論。

由此可見,虛擬制作的理念和方式正在深刻影響著影視行業,從籌備階段的動態故事板,到拍攝現場的實時交互預演,到演員的動作捕捉、面部捕捉,再到實拍LED 背景墻的虛擬制作方式,這些工作將視覺化效果在更早的階段呈現出來,提高了制作效率,縮短了制作周期。在國內,已經有團隊在嘗試采用工業化的虛擬制作流程,并且制作出優秀的商業化電影的案例,如2019年的科幻電影《流浪地球》。但是對于仍在采用傳統制作方式的團隊而言,如何快速將虛擬制作的技術應用到影視制作流程中,靈活應用虛擬制作技術,為創作帶來便利,這是一個必須面臨的新挑戰。

1 虛擬制作帶來的挑戰

1.1 虛擬制作和傳統制作的區別

虛擬制作和傳統制作可以從制作流程進行區分。從制作流程來看,傳統制作的流程通常為線性流程,分為拍攝前期、拍攝中期和拍攝后期,而采用虛擬制作的方法后,這三個階段的界限不再有明確的界線區分,許多后期的工作會前置,前移到拍攝過程中甚至是前期籌備階段。流程結構的變化帶來最直接的影響,是改變了項目迭代的方式,讓虛擬制作比傳統制作具有更高的容錯率和更快的迭代速度。由于后期工作前置,許多問題可以在更早的階段被提出和解決,提高溝通與拍攝效率,保證了拍攝的效果。

在傳統的制作流程中,可能會遇到的問題有:現場置景時才發現前期數據不準確,由于空間限制等原因難以實現原定計劃,需要重新布置機位和道具,調整過后還可能連環引起其他部門的問題,需要在現場耗費大量時間去調整機位、燈光、布景,協調各部門工作。而在虛擬制作的工作流程中,可以利用設計的3D 模型、具有確切參數的虛擬攝像機,在虛擬場景中通過準確的技術預演規避這些問題。

虛擬制作給創作者提供更加廣闊的創作空間,創作者可以在前期設計虛擬場景,用計算機模擬出拍攝現場,對場景設計、分鏡設計進行不同的嘗試,不受現實的限制,充分發揮自己的創意。在計算機中模擬出的現實場景為創作者提供了視覺化的反饋,讓創作者對可以拍攝出怎樣的畫面有更加直觀的感受,對現場的拍攝也會有更多的把握。

1.2 制作團隊的需求

對于影視團隊中的創作組和制作組而言,他們有各自關心及需要解決的問題。創作組主要包含導演、燈光、美術等部門,創作組成員關注自由的創作空間、整體消耗成本和最終成片效果,在意如何設計劇本、分鏡,以及采用虛擬制作的方式后,制作成本是否減少,成片效果是否和以前一樣甚至更好。制作組主要包含視效、剪輯、音效等部門。制作組成員關注的是明確的制作需求、準確有效的拍攝計劃和良好的拍攝質量。由此可見,如何創作或制作才是影視團隊需要花費精力去思考和解決的問題,而不是如何掌握一門新技術。

通過分析影視團隊的需求,不難得出,在面對虛擬制作時,制作團隊所需要的是低學習成本的、能高效解決問題的技術方案,以助于集中精力在創作本身,如果虛擬制作的相關技術因操作難度和復雜程度,需要團隊成員花費大量精力、時間去學習和使用,反而本末倒置了。針對這個需求,本文提出一個解決方案,即良好的用戶交互。良好的交互方案可以降低不同部門的學習成本,讓技術的參與盡量符合創作者原有的創作習慣,降低新技術的“存在感”,讓虛擬制作自然融入原有創作流程,讓影視團隊快速使用成熟的技術方案解決問題,獲得更加高效的制作流程,更好的制作效果。

2 用于展示及拍攝的交互應用

針對虛擬制作相關的新興技術,研發團隊根據不同場景設計出最合適的用戶交互方案,在各個行業做了不同的嘗試,包括但不限于電影、廣告、綜藝、展覽展示等行業。不同的實踐都得到了良好的結果,證明了用戶友好的交互設計方案可以降低學習成本,大幅提高工作效率。

2.1 面部捕捉控制機械生物

電子機械生物是影視制作中常見的實體特效類型。由于電子機械生物的面部肌肉塊數多且復雜,因此實現表情控制是較有難度的一項工作,需要多位電子玩偶藝術家相互配合操作,用搖桿、按鈕、旋鈕等機械裝置去控制電子機械生物的面部肌肉變化,藝術家們需經過較長一段時間的訓練和協作才能完成一個自然的表情變化。

研發團隊選擇采用面部捕捉技術解決這個問題。具體方案是,首先建立一個和機械生物一致的虛擬模型,然后采用面部捕捉技術,通過面部識別采集演員的面部表情變化數據及頭部轉動數據,用演員面部變化數據控制虛擬模型的變化,再通過網絡傳輸機械生物面部肌肉的控制指令,同步虛擬模型和實體模型,使機械生物做出與演員相同的表情變化。

運用面部捕捉實現電子機械生物的表情控制,降低了對使用者的要求,無需受過專業訓練的藝術家操作,只需要使用者在攝像頭前做出相應的面部肌肉變化或情緒變化,就能夠快速得到想要的結果,實現對電子機械生物的面部表情控制,大大縮短排練周期。

圖1 面部捕捉控制機械生物

2.2 手勢交互展示

在汽車展會上,研發團隊采用手勢識別技術,根據觀眾的手勢來控制屏幕上的汽車底盤模型展示。觀眾無需通過鍵盤或者鼠標來操作,而是可以采用更符合日常生活的交互習慣,直接用手勢動作來對屏幕上的模型進行放大、縮小、旋轉的操作,更加直觀地操控屏幕上的模型,獲取模型分解成零件的詳細信息,這是一個低學習成本的展示方式。

2.3 有三維仿真功能的六軸微縮控制器

六自由度平臺,是為了負載汽車等載具或道具,模擬運動中的效果。原先對六自由度平臺的控制方案是通過軟件界面和一個搖桿進行控制,技術性參數多且復雜,再加上需要實現的運動狀態較多,比如轉彎、不同的顛簸效果等,而且搖桿的操作并不直觀,操作者需要及時觀察平臺的運動狀態反饋,再調整對搖桿和軟件參數的操作,訓練和操作難度較大,花費時間成本和人力成本高。

本人所在研發團隊針對此問題設計的解決方案是,采用一個等比縮小的微縮模型作為控制器,使用者手動改變微縮控制器的狀態時,控制器的數據會實時同步給六自由度平臺,從而改變平臺狀態,兩個模型的運動變化完全一致。這種控制方法非常直觀易懂,所見即所得。

由于兩個硬件設備利用軟件進行數據傳輸,因此這個六自由度平臺的機械運動數據還可以通過軟件便捷地轉發到其他部門,為其他部門的機械控制工作提供便利。當燈光部門需要實現動態燈光效果時,機械運動數據可以幫助他們更加順利地實現數字控制或機械控制;當拍攝團隊采用基于LED 背景墻的虛擬拍攝方式時,物體的運動數據也是必需的。數據在不同部門間的復用可以提高現場整體的效率。

圖2 六自由度平臺微縮控制器

為了呈現最后拍攝能達到的視覺效果,本團隊創建了三維仿真畫面,添加載具的虛擬三維模型,微縮控制器的運動數據同步傳遞給載具虛擬模型,使其在虛擬空間中進行和微縮控制器一致的運動。屏幕上的畫面會實時傳送到iPad上。在現場搭建完成之前,使用者可以將iPad 的鏡頭作為虛擬攝像機,調整虛擬攝像機的拍攝位置、角度,捕捉三維圖像的空間位置,預覽最終可以實現的拍攝效果。

圖3 三維仿真畫面

2.4 六自由度平臺控制器

得益于對交互與技術的綜合理解,本研發團隊在六軸微縮控制器的基礎上,進一步迭代,將軟件、算法、通訊技術、結構設計、工業設計融入了六自由度平臺的控制中,將其完善成一個更為成熟的產品,實現了從人力到工業化的轉變。

本團隊對六自由度平臺控制器做了以下幾方面的改進:加入自動化的錄制功能,在操作師演示完成一次機械控制之后,如果確認此次控制沒有問題,則可以通過自動錄制功能,多次重復此次運動變化,在需要多次攝制的情況下,可以保證平臺運動狀態的一致,重復精度遠高于人力手動控制;添加了常規預設運動數據,通過調整搖動的頻率、幅度等參數模擬顛簸、水海、空中等運動狀態,以前需要人手動完成的運功,現在可以由六自由度平臺自動化實現,相比手動控制更加穩定可控,根據計算機數據完成細微、精確的運動變化,大大節省了人力成本和時間;添加了濾波、平滑度參數,平滑六自由度平臺的運動狀態,在人力控制的情況下,避免人力失誤造成的突然顛簸或傾斜,實現更好的運動效果;支持導入第三方軟件運動數據,有助于與其他部門的協作和數據的復用。

產品化的改進設計使得六自由度平臺可適應更多拍攝實踐情境,在面對不同的用戶需求時,可快速投入使用。

3 數字化控制平臺

影視制作的過程中會產生也會需要大量數據,高效利用數據、管理數據可以為影視制作帶來更高效的流程。在總結了一些實踐經驗和思考后,本研究提出了未來現場拍攝的新方案,即以物聯網為理念的數字化控制平臺,旨在設計控制各種數據的集成式系統,把藝術家過去習慣的交互方式代入到新的工作流中,藝術家無需付出新的學習成本,就可以繼續發揮自己固有的創作能力。

數字化控制平臺集成各類數據,能夠充分利用在拍攝現場收集到的數據,避免不同部門的重復工作;再者,當所有數據通過一個平臺進行管理時,可以更加清晰地展現已有數據,對于操作者而言,只需一個部門甚至一兩個人來完成所有的設備數據的控制和協作管理,大幅提升工作效率,節省人力成本,管理工作更加便利。

3.1 數字化控制平臺的設計流程

根據以往的實踐經驗,本研究對數字化控制平臺的大致設計流程作了如下總結。首先,當面臨新的拍攝需求時,先深入分析對應最高效的交互方案是什么,盡可能減少使用障礙,降低使用難度,讓設計出的產品能夠快速投入實際使用。其次,根據提出的交互方案設計開發所需軟件,并定制改裝硬件設備。再次,由于軟件和硬件都是經由一方開發,因此可以通過軟件使用、分享收集到的硬件數據,實現軟硬件協同的效果。從硬件設備收集的數據按照既有協議進行轉化,可以在不同的平臺復用,聯結各個部門的工作。將傳輸協議進行統一后,數據以網絡協議進行管理,再按照各設備的不同協議轉化并進行分發,實現一個互通的數據平臺,實現集成式中央控制。

3.2 數字化控制平臺的特點和優勢

數字化控制平臺的特點和優勢可以從以下四個方面進行闡釋:協議統一、功能開放、數據開放及簡化部署。

3.2.1 協議統一

設計數字化控制平臺的靈感來源于控制燈光的協議變遷。DMX 512控制協議是美國舞臺燈光協會于1990年發布的數字燈光信號傳輸的工業標準,由于管理設備少、控制距離短等局限性,后來發展成了基于以太網的Art-Net傳輸協議,即利用以太網傳輸DMX 數據。采用網絡協議傳輸、管理不同設備的數據,實現集成式中央控制,這是數字化控制平臺理念的基礎。以燈光控制為例,虛擬三維模擬的燈光數據可以轉換成一個個的數字,這些數字能夠以Art-Net協議被打包發送到網絡中,網絡的另一端使用一臺Art-Net轉DMX 512的轉換器,即可將網絡信號轉換為燈光設備需要的控制信號。

拍攝現場可能會用到控制燈光的DMX 協議、Art-Net協議、攝像機采用的RS 232、RS 485的通訊接口、控制云臺設備的SBUS協議等,無論設備采用什么接口,以什么協議傳輸數字信號,都可以通過程序對數字信號進行編碼、解碼轉化為統一傳輸協議,并且通過網絡節點傳輸數據,對數據進行統一管理?；谝蕴W的高吞吐能力以及IP地址機制,一條網線能夠負載幾百甚至上千條DMX 512數據,傳輸速度非常可觀,并且可同時負載多臺設備,在數據更加方便統一管理的同時,拍攝現場的部署成本、維護成本也會降低。

3.2.2 功能開放

將硬件設備中的傳感器數據做暴露性的處理,使得數據在不同的設備和軟件平臺上都沒有使用限制。無論在Unity、Unreal Engine、Maya,甚至是移動端等不同平臺,部門工作人員都可以根據具體情況選擇需要的平臺和設備,暴露后的數據可以滿足不同需求,順利投入使用。

3.2.3 數據開放

將硬件設備的數據進行開放處理,包括但不限于數字、坐標、燈光亮度、音量等。例如,搖輪在現場主要是用來控制云臺、軌道或滑索的,搖輪的參數調整、轉動數據可以收集到軟件中并廣播到其他部門,控制燈光角度、亮度、位置,或者是用來協助演員調度設計。數據的利用不再局限于某個部門內、某個特定的功能,將拍攝現場作為一個整體的系統來看待,充分利用數據支持拍攝工作,讓拍攝現場的工作更加靈活自由,一些創作靈感在得到數據的支持后也能夠更快更好地實現。

3.2.4 簡化部署

網絡協議非常開放且成熟,它的靈活性和高性能使得一根網線可以負載大量設備的數據,甚至可以靈活地使用無線網絡傳輸的方式,利用無線接收器,減少部署時的大量連線工作,使得部署工作更加簡便。同時,減少連線也可以降低管理難度,當傳輸出現錯誤時,排除連線錯誤的難度降低,現場的部署與管理的工作效率都得到提高。

4 結語

電影是技術與藝術的融合體,從黑白到彩色,從無聲到有聲,從膠片到數字,從2D 到3D,電影在歷史上每一次飛躍都伴隨著科技的進步和發展。影視行業迎來了虛擬制作時代,技術不是牽絆影視制作的阻力,如何將技術融合進影視制作流程中則成為了虛擬制作發展的一個關鍵步驟,這是一個需要不斷完善的過程。

無論是已經成功的實踐結果,還是設想以物聯網為基礎的數字化平臺,呈現給用戶的都是簡單直觀的用戶交互方案,隱藏了背后復雜的技術原理和邏輯思考,讓創作者仍然可以繼續專注于創作本身。將技術經過設計包裝,采用合理的交互方案,成為可以應用于多個不同場景的產品,會讓影視行業更快地擁抱技術變革帶來的優勢。在解決問題時,不再以技術為起點,而是從用戶需求的角度去思考,解決這個問題最高效的方案是什么,利用產品設計思維,更加開放的方式發揮技術的作用,以此輔助電影藝術家的創作。新興技術不應成為創作的阻礙,而應該是輔助創作的重要力量。