淺談影視制作中高精度自然對象的數字化制作流程和實現效率分析

王 釗 孫亞曉

1.北京乾像時空數字科技有限公司,北京 100020

2.鄭州城建職業學院信息工程系,河南鄭州 450052

1 引言

在現代電影拍攝過程中,創作團隊常常會選擇在各種各樣優美壯麗的大自然環境中演繹故事的發展。比如張藝謀導演的《英雄》,取景地就有著名的甘肅敦煌沙漠、內蒙古額濟納旗胡楊林、四川九寨溝等。但在某些類型的影片創作過程中 (典型的例子就是科幻題材電影),常常無法找到適合影片拍攝的實景地。而且隨著電影相關技術的發展,觀眾對于各種視覺奇觀的欣賞要求也越來越高,于是使用基于計算機圖形學的數字化制作手段來實現各種自然界視覺奇觀的需求越來越迫切。2009年上映的影片 《阿凡達》,制作團隊通過計算機生成圖像(Computer-generated Imagery,CGI),創造了一個前所未見的地外星球“潘多拉”,其超凡絕倫、美輪美奐的自然風景震撼了全球電影觀眾,也把自然環境的數字化制作水平提升到了前所未有的高度。現在,采用數字化手段制作影片中各種各樣的自然環境元素已經在影視后期行業獲得了廣泛應用,極大地拓展了電影藝術中視覺美學的邊界。

圖1 電影 《阿凡達》中CGI技術制作的懸浮山群

2 當前影視后期制作流程中數字化資產主流實現技術

計算機圖形學(Computer Graphics,CG)經過近半個世紀的發展,現在已經頗為成熟。通過各種技術手段,制作人員在計算機上描繪出各種自然界的元素,從各種各樣活蹦亂跳的生物到千奇百怪的植物,再到層巒疊嶂的群山,抑或是波瀾壯闊的海洋,都能夠達到以假亂真的真實度。實現的技術簡單來說,大致如下:

(1)首先采用各種幾何結構描述出數字模型的造型。常見的幾何結構包括了三角面、四邊面、NURBS (Non-Uniform Rational B-Splines)曲面、細分曲面(Subdivision Surface)等。

(2)給數字模型分配好UV 空間,用來實現對數字模型的紋理描述。

(3)使用各種光照模型 (Shading Model),結合各種類型的紋理貼圖 (色彩貼圖 (Diffuse Map)、凹凸貼圖 (Bump Map)、法線貼圖 (Normal Map)、高光貼圖 (Specular Map)、置換貼圖 (Displacement Map)等),實現數字模型的基礎可視化。

(4)通過三維軟件和渲染引擎 (Renderer),實現對數字模型的復雜光照效果,最終完成自然元素的數字化制作過程。

雖然整個數字化制作流程實現的基礎本質都是數學、物理學和計算機科學,但是制作人員卻并不需要掌握相對應的專業知識。事實上,制作人員只需要學習相關的電腦軟件操作技能就能迅速融入數字化制作流程中。目前業內主流的電腦軟件主要有以下類型:

(1)全流程大型三維軟件主要有Autodesk 公司出品的Maya、3ds MAX,Maxon 公司出品的Cinema 4D,NewTek公司出品的LightWave,The Foundry公司出品的MODO,開源軟件Blender等。

(2)數字化雕刻軟件主要有Pixologic公司出品的ZBrush,Autodesk 公司出品的MudBox,Pilgway公司出品的3D Coat等。

(3)專門被設計用來處理模型UV 信息的軟件,主要有Rizom-Lab出品的RizomUV,Polygon-Design出品的Unfold3D 等。

(4)為數字模型繪制紋理貼圖的軟件主要有Adobe公司出品的Photoshop、Substance 3D Painter,The Foundry公司出品的Mari等。

3 某國產影片中自然山體的數字化實現技術流程

在某國產神話題材影片中,導演需要通過完全數字化的手段呈現一個玄幻風格的架空世界。在這個虛幻時空內,空間中懸浮著數以百計的 “張家界風格”的山峰。概念設計師設計完成概念圖稿之后,制作團隊開始制作大量數字資產——通過數字化技術手段實現各種風格的山體。

整個制作流程使用了ZBrush、MudBox、Maya、RizomUV、Substance 3D Painter、Arnold 軟件,具體的技術實現路徑如下所述:

(1)在概念設計圖的基礎上,收集和拍攝大量張家界山體的真實高清晰度照片作為制作參考。

(2)使用數字化雕刻軟件制作多種造型的山體,使用ZBrush的自動拓撲 (Remesher),生成規范標準的四邊面模型,并將每個山體對象的四邊面面數控制在100K 以內。

(3)將重新拓撲后的山體模型以OBJ格式從ZBrush導出,讀入Maya,檢查模型是否完整,是否具有非標準結構(例如層狀體面(Lamina Face)、非流形幾何體 (Nonmanifold Geometry)、零面積面(Zero Area Face)等),若存在這類問題,將其修復。

圖2 制作完成的部分山體數字模型

圖3 部分山體模型的UV Tiles

(4)為完善后的模型創建UV 信息,為了在之后的紋理繪制階段能夠獲得足夠細膩的細節表現,UV 分布采用UDIM (U-Dimension)Tile,每個山體的UV Tiles控制在4個以內。(5)將UV 信息添加完成后的山體模型讀入ZBrush或MudBox,具體采用哪種雕刻軟件視個人習慣而定。初始的山體模型結構較簡略,在雕刻軟件內,將其增加若干細分級別后,采用各種筆觸(Stroke),結合Alpha紋理 (還可以采用Stencil投射模式)開始為模型添加各種細節。在雕刻過程中,雕刻層(Sculpt Layer)是不可或缺的雕刻效果管理手段。山體細節的數字化雕刻過程本質上是一種藝術創作,要創建自然優美的山體結構細節需要制作人員具備較好的美學素養。一般來說,在數字雕刻軟件內,為了讓數字資產獲得電影級別的細節表現,最高的細分級別至少要達到8000萬面數以上。

(6)完成模型雕刻工作后,使用正確的貼圖輸出設置,輸出置換貼圖(Displacement Map)、矢量置換貼圖 (Vector Displacement Map)、AO 貼圖(AO Map)等。

(7)模型在雕刻軟件內雕刻完成后,該文件還不能直接導出去作為渲染模型使用,因為要表現足夠多的細節會使模型細分級別太高而導致模型文件太大,如果直接OBJ格式導出給Maya等三維軟件,會碰到文件打不開或者運行時間漫長、操作緩慢、渲染時間成倍增長等問題,這些會嚴重影響項目的進度,導致效率降低。因此,在雕刻軟件中制作完成的模型,需要通過降低細分級別來減少面數,根據項目的要求來控制合理的面數,一般來說,影視制作中通常控制在10萬到50萬范圍為宜。

(8)將導出的OBJ 模型讀入Substance 3D Painter或Mari等紋理繪制軟件內,為數字模型繪制各種巖石紋理、污漬、水跡等細節。在紋理繪制過程中,務必認真分析真實山體照片中捕捉到的細節,能否完美再現真實山體具有的紋理細節特征,是后續渲染階段效果優劣與否的關鍵之一。紋理繪制完成后,采用正確設置將基本顏色 (Base Color)、高度 (Height)、粗糙度 (Roughness)、金屬度(Metallic)、法線 (Normal)等類型貼圖導出。其中高精度、高質量的Base Color和Normal貼圖對于獲得優秀的渲染結果較為重要。

圖4 部分山體的紋理貼圖

(9)在Maya內將各種類型的貼圖依次讀入,通過正確的連接方法鏈接到著色器 (Shader)上,再將Shader賦予渲染模型。對于Arnold 渲染器,至關重要的技術點包括了務必將TIFF、TGA、EXR 等格式的貼圖轉換為 tx格式,渲染模型的細分迭代次數(Subdivision Iterations)設置為合適的級別等。

圖5 部分巖體的渲染測試效果

4 數字化資產整體流程的實現效率最優化研究

在商業電影制作流程中,影片最后呈現的視覺效果和有限的制作周期 (基本等同于制作投入的成本)之間總是存在著矛盾。多數情況下,制作團隊總是希望能夠在有限條件下,盡可能實現最優質的畫面效果。但在現實情況下 (尤其是各種中小投資規模的影視項目),制作團隊有時候又不得不努力在好的視覺效果和計算機有限算力之間尋找一個平衡點。以下以某一巖體的數字化制作過程為例,淺析影響效果最優化實現效率的若干影響因素。

4.1 與最終效果關系最密切的幾種貼圖類型

對于數字化資產制作來說,鑒于用于描述數字模型結構的多邊形數量需考慮視圖操作反饋的互動效率,把多邊形面數控制在適量數量內是非常必要的,那么主要影響數字模型呈現效果的就是紋理貼圖。在當前影視后期制作流程中,主流的紋理貼圖類型主要有基本顏色(Base Color)、高度(Height)、粗糙 度 (Roughness)、金 屬 度 (Metallic)、高 光(Specular)、次表面(Subsurface)、凹凸貼圖(Bump Map)、法線貼圖 (Normal Map)、置換貼圖 (Displacement Map)、矢量置換貼圖(Vector Displacement Map)等,它們將被輸入給光照模型的各個通道,然后與渲染器的燈光一起,決定了數字資產最終的視覺效果。在眾多的貼圖類型中,最關鍵的幾種有Base Color、Normal Map 和Vector Displacement Map,高質量高精度的這幾類貼圖將確保數字資產獲得優秀的視覺呈現。Base Color、Normal Map這兩類貼圖主要通過Substance 3D Painter或Mari等紋理繪制軟件創建,其繪制過程主要依賴制作人員的美學素養和繪畫功底,目前的紋理繪制軟件被設計得對于藝術創作者來說已經足夠友好,整個紋理繪制過程是一次愉快的藝術創作。

下面重點分析矢量置換貼圖和傳統置換貼圖兩種貼圖類型。置換貼圖在塑造數字資產高細節度方面占據非常重要的地位。傳統置換貼圖的創建方法是數字雕刻軟件根據模型較低細分級別和較高細分級別之間的細節進行比較計算,然后輸出一套含有兩個不同級別之間差異的貼圖。置換貼圖的視覺表現為灰度圖像,其中的黑白強度變化被用來在渲染計算過程中對網格表面進行推入或者拉出操作。置換貼圖與法線貼圖最大的區別就是置換貼圖會顯著的改變數字模型的輪廓結構,而后者并不會。許多有經驗的制作人員在實際制作過程中,總結出如何最高效地綜合使用以上兩種貼圖類型:法線貼圖負責表現最高細分級別上最高細節的部分,而置換貼圖用來呈現中等細分級別上的細節信息。多數情況下,置換貼圖和法線貼圖的綜合使用已可重現高細分級別模型的細節,但是傳統的置換貼圖也有其固有缺陷,簡而言之,置換貼圖對于基礎網格多邊形上大于垂直角度的表面變化無能為力,矢量置換貼圖通過采用浮點精度的RGB顏色信息記錄網格上各個部分的變形位移信息解決這個問題。考慮到現在主要的渲染引擎都已完美支持矢量置換貼圖,傳統的置換貼圖終將被淘汰。

關于矢量置換貼圖還有一些技術細節值得一提。目前為止,矢量置換貼圖在業內尚未標準化,不同的渲染引擎會采用不同的方式處理矢量置換貼圖。在某一個渲染引擎中完美復刻出高細分級別模型細節信息的矢量置換貼圖在另一個渲染引擎中的渲染結果可能大相徑庭,所以制作人員需要首先為自己的制作流程選擇正確的顏色順序和方向組合。下面以Autodesk 公司推出的數字雕刻軟件Autodesk MudBox和ZBrush這兩個主流的數字雕刻軟件為例分別介紹以下具體的設置,渲染引擎以Maya平臺內的Arnold為例。

對于Autodesk MudBox,由于其最早的開發背景是維塔數碼 (Weta Digital)的研發部門 (Weta Digital的三維動畫軟件平臺是基于Maya的),其矢量置換貼圖的導出設置非常簡單明了。

關鍵點在輸出的矢量空間為絕對切線(Absolute Tangent),貼圖格式為單精度浮點(32-Bit Floating Point)EXR。而在ZBrush中,正確的輸出設定略為復雜。

主要設定在翻轉和轉變 (Flip And Switch)和Tangent Flip And Switch,前者是世界空間(World Space),而后者是切線空間 (Tangent Space),這兩種空間的區別在于它們適用不同的對象。世界空間適用于靜止不動的幾何體對象 (例如各種布景物體),而切線空間適用于有幾何體變形的對象,多數情況下,切線空間是首選。Tangent Flip And Switch選項一共有48種設定,如何判斷哪種設定對于后續采用的渲染引擎是正確的呢?ZBrush提供了一個診斷文件幫助用戶做判斷。

診斷文件由OBJ文件、一張漫反射貼圖和一張矢量置換貼圖組成。將它們讀入Maya,做好適當的連接和設定,使用Arnold渲染出來,注意觀察48個橢球體中,有一個將在矢量置換貼圖的作用下,呈現為完美的球體。若在Maya 2018+MtoA 3.3的環境下,27號橢球體呈現為完美的球體,則在ZBrush中Tangent Flip And Switch需要被設定為27。一般矢量置換貼圖輸出的圖片格式為EXR,可以選擇32-Bit Floating Point或者16-Bit Floating Point,兩者的區別在于后者在輸出的時候需要設定正確的深度因子,而前者不需要。鑒于現在主流渲染器已能完美支持32-Bit貼圖,因此32-Bit Floating Point為首選。

4.2 貼圖輸出尺寸和渲染效率

目前的影視后期制作流程中,數字資產的紋理貼圖常見的分辨率尺寸有2K、4K、8K 等 (Autodesk MudBox甚至支持16K、32K 超高分辨率的貼圖輸出)。制作流程中采用何種分辨率的貼圖需要依據項目需要而定。對于Full HD 1080P (畫面分辨率為1920×1080)或者2K Film (畫面分辨率多為2048×1080)項目來說,為了滿足中近景特寫鏡頭的細節表現需要,紋理貼圖分辨率至少需要多個UV 象限的4K UDIM Tile。如果項目中有高精度數字資產的極限細節表現,那么在Base Color、Normal Map和Vector Displacement Map上采用多UV象限的8K UDIM Tile也是必要的選擇。目前的主流渲染器中已經有很多支持對貼圖文件做鑲嵌切片(Tiled)和紋理映射 (Multum In Parvo)預處理,這步操作極大地提高了高分辨率紋理貼圖的渲染效率(在紋理文件的I/O 性能上,預處理后的效率是未預處理的數百倍之多)。Arnold 渲染引擎的TX圖片格式采用的就是這種預處理方法,即使是近百張8K 分辨率的紋理貼圖 (總數據量約20G),渲染引擎仍然能夠在幾十秒內完成I/O 處理。

4.3 CPU 渲染器和GPU 渲染器的選擇

早期的三維渲染引擎都是基于CPU 的,近年來,隨著GPU 計算性能的突飛猛進,GPU 架構的渲染引擎也隨之出現,例如Maxon 出品的Redshift,NVIDIA 出品的Iray,OTOY 出品的Octane等,而傳統的CPU 渲染器如Arnold、Vray也紛紛實現了對GPU 的加速支持。那么在項目制作流程中,CPU 和GPU 這兩種該如何選擇呢? 筆者認為截至2022 年,兩者之間仍然沒有分出來明顯的勝負,各有各的優劣。GPU 單體效率確實更高,但GPU 價格近年來始終居高不下,這大大減緩了GPU 渲染器的市場推廣速度。而CPU 渲染器的優勢在于CPU 的價格始終保持穩定且相對低廉,目前市場上仍然保有大量CPU 架構的渲染農場,這更加降低了CPU 渲染器的渲染成本。未來CPU 與GPU 之爭會如何發展,讓我們拭目以待。

5 結語

影視行業中數字化制作水平的提升堪稱日新月異,各種各樣的新技術、新軟件不斷被計算機圖形學家們發明出來,藝術家們實現自己的各種藝術幻想也越來越不受約束。當1986年皮克斯動畫公司制作出簡陋 (但是極其有趣)的 《頑皮跳跳燈》(LuxoJr.)時,誰能想到十多年后咕嚕這個純電腦生成的角色已經令全球電影觀眾無法分辨其真實存在與否,基于計算機圖形學的數字化制作技術未來能夠發展到什么高度,讓我們廣大從業人員共同努力,一起奮斗。