通用場景描述(USD)在影視后期制作中的發展和應用

徐明曄

北京電影學院中國電影高新技術研究院,北京 100088

1 引言

隨著影視行業進入數字時代,三維場景等數字資產的處理及復用成為重要研究課題之一。場景描述,是指制作特效電影和游戲的過程中通常會生成、存儲和傳輸大量的3D 文件。制作管線中許多協作環節(建模、著色、動畫、燈光、渲染)通常都有自定義的場景描述,適用于制定后期軟件的制作需求和工作流程,而其它后期制作軟件則無法讀取或編輯。

通用場景描述 (Universal Scene Description,USD)[1]為表示場景中各類資源提供了一套統一的描述方式,服務于影視級3D 數據的生成、存儲、處理、管理和復用等[2]。USD 可用于創建、表達和修改虛擬世界的一組數據結構和應用編程接口(Application Programming Interface,API),不僅支持幾何圖形、鏡頭、照明和材質等虛擬世界的基礎知識,也能夠表征它們之間的各種關系,包括屬性繼承和實例化等。同時,USD 也是一個用來合成場景和解析場景中數值的文件格式,可以用于不同后期制作軟件之間 (Maya、Houdini等)的文件交換和數據傳輸,也可以直接用作3D 場景文件。

USD 最早由皮克斯公司研發,2016 年作為一種開源免費項目公開。皮克斯公司最早研究USD 這種格式,是為了確保它可以共享和重用數十萬個3D資產用于其電影[3]。該格式允許在實時工作區中重復使用3D 數據集,同時保持原始文件完好無損。USD 作為皮克斯研發的第四代場景描述方式,得到行業廣泛認可。USD 的發展歷程,最早可以追溯到1995年上映的《玩具總動員》,以每個鏡頭為單位,均由一個單一的線性程序文件描述。皮克斯研發團隊逐漸在其自主研發的動畫系統 “木偶”中引入引用、分層、編輯和變化的概念,并從 《蟲蟲危機》的制作開始得以發展。2004年,皮克斯研發團隊在“木偶”系統的基礎上,又設計開發出第二代動畫系統Presto,解決了 “木偶”遇到的合成和覆蓋3D場景描述等功能無法協作使用的問題,提供了統一的第二代場景描述。該描述方法支持從單個網格到整個模型,再到環境或鏡頭的所有粒度的引用、覆蓋、變化和其他操作,以單一文本格式編碼,并使用單一合成引擎進行評估。2008—2009年,管線開發團隊開始構建TidScene,一個由二進制數據庫(Berkeley D B)支持的幾何模式,使用輕量級場景作為編寫和讀取時間采樣數據的機制。TidScene的核心元素為OpenGL渲染插件,該插件允許所有管線應用程序直接從TidScene預覽渲染,其本地引用特性能夠支持分層、場景“隔離”(即只加載場景的一部分)、資產引用和調整。USD 項目于2012年啟動,任務是將Presto的組合引擎和低級數據模型與TidScene的惰性訪問、時間采樣數據模型和輕量級場景結合起來,提供了一個全新的描述方式。

2 USD概要

USD 是一個描述體系,可以是一系列文件格式,也可以是一套工具或插件。USD 提供了豐富的工具集,用于讀取、寫入、編輯和快速預覽3D 幾何圖形、陰影、燈光、物理和越來越多的圖形等[4]。同時,由于USD 的核心場景和組合引擎不受任何特定領域的影響,因此USD 能夠擴展至其他領域,以編碼和組合各類3D 數據。

USD 將數據組織到基礎容器的分層命名空間中。除了子基礎容器之外,每個基礎容器還可以包含屬性和關系,統稱為特性。屬性具有可隨時間變化的類型化值,關系是指向層次結構中其他對象的多目標 “指針”,當引用導致名稱空間改變時,USD 負責自動重新映射目標。基礎容器及其內容被組織成一個稱為層的文件。下列羅列的對象為構成USD 的各級元素。

(1)基礎容器。英文為Prims,全稱為Primitive,是構成USD 的基本單位。每個基礎容器都有一個名稱,0個或多個命名屬性,以及0 個或多個子級。例如,正方體是個基礎容器,燈光是一個基礎容器,材質是一個基礎容器?；A容器是定義階段的對象樹中的“節點”。

(2)特性。英文全稱為Property。特性一般包含屬性和關系兩種。屬性是描述基礎容器的類型化值(例如整數、顏色、變換矩陣、數組等),而關系則是在一個基礎容器和另一個基礎容器之間建立的鏈接。

(3)元數據。英文全稱為Metadata,是一種依附在基礎容器、資產,甚至是圖層上的額外信息。

(4)層。英文全稱為Layer,它是基礎容器和資產的存放工具,其中的元素要按照層級結構組織好。通常來說,一個USD 文件 (.usd格式的文件)是一個層,一個層可以表示場景的一個片段,如道具、角色、裝備的一部分,燈光設置等；也可以表示用來創建基準的默認值,例如包含鏡頭序列設置的圖層。

(5)合成操作符。英文全稱為Composition Arcs,是USD 提供的一套用于方便實現場景組裝的操作符。USD 中有六種合成操作符,分別為子層(Sublayers)、引 用 (References)、負 載 (Payloads)、變體 (Variants)、繼承 (Inherits)和特化(Specialises)。子層是最常見的一種,它類似于Photoshop中的圖層,USD 中的子層可以定義USD層的堆棧,堆棧按強度順序排列,子層可以互相覆蓋,在具有相同屬性的兩個子層合并時,只有最強的子層才能顯現屬性；引用則用于將新項目添加到場景中；負載就像可以延遲加載的引用,可以在場景中選擇部分項目加載到內存中；變體用于在接種的項目之間進行切換,在相同的物體有不同版本時可以在其中進行選擇；繼承類似于面向對象的編程語言中的類,在規定成同一類的事物中,可以從事物的基元中繼承；特化的工作方式類似于繼承。六種合成操作符的強度順序由強到弱依次為子層(Sublayers)、繼承 (Inherits)、變體 (Variants)、引用(References)、負載 (Payloads)、特化 (Specialises),這個順序由縮寫LIVRPS給出。

(6)舞臺。英文全稱為Stage,是把所有層從根層向下合成的結果。通常一個舞臺就對應于場景中用于遍歷查詢的一個物件,這個舞臺給出了基礎容器和特性在命名空間中的位置信息以及相關屬性的數值等完整的數據信息。

(7)模式。英文全稱為Schema,其含義是一組屬性的集合,這些屬性賦予了基礎容器含義。目前USD 支持的模式有幾何模式、立體模式、陰影模式、照明模式、骨骼動畫模式等,隨著未來USD 的發展也會支持更多的模式。

3 USD特性與優勢

3.1 USD的特性

USD 支持多種文件格式,具有統一的API和豐富的工具集,支持多人修改同一資產或場景。USD常見的文件格式有四種:二進制文件 (.usdc 格式)、文本文件(.usda格式)、壓縮文件 (.usdz格式)和插件文件格式。

(1)二進制文件。拓展名為usdc的文件,也被稱為crate文件,是一種經過精確壓縮和內存映射的快速訪問文件格式,也可以使用擴展名usd進行存儲。usdc文件擁有高效的編碼和無損壓縮,打開的時候只讀入基礎容器和特性的層級關系；屬性和時間采樣可以用命令來控制。

(2)文本文件。拓展名為usda的文件,其設計原則是為了可讀性,使開發者直接讀懂3D 文件的內部結構。usda文件是一種無損格式,任何usd文件都可以轉換成usda文件,便于在不進行渲染的情況下理解usd文件中的內容及進行調試,usda文件和usd文件一樣可以打開和進行渲染,也可以像crate文件一樣以usd擴展名進行存儲。

(3)壓縮文件。拓展名為usdz的文件,是由皮克斯公司和蘋果公司聯合開發的一種數據格式,它相當于一種壓縮形式的打包文件,包括了USD 文件和所需貼圖、紋理等各種資產,多數情況下用于視覺特效的制作中。

(4)插件文件。除了以上文件外,usd也支持Alembic文件,在USD 預覽程序usdview 中可以直接讀取和引用,其他公司也可以自行研發文件解析插件,以擴展應用USD 并添加對其文件格式的支持。

3.2 USD的優勢

USD 首要特性就是高速性,即可以快速加載和回放大數據集。實現高質量數字藝術的最重要因素之一,就是能夠快速且頻繁地迭代設計資產和動畫,以期在實現3D 美術編輯場景的同時,盡可能提升呈現令人滿意的視覺反饋的速度,以及在多個應用程序之間遷移新數據或恢復崩潰會話的速度。USD通過探索算法的改進,更好地利用現代多核系統和GPU 以及圖像壓縮技術,最大限度地減少訪問遠程存儲數據的延遲,實現了通過最小化延遲來最大化美術迭代。

其次,USD 支持非破壞性編輯。非破壞性編輯指的是在整個流水線中的參與人員,可以通過自己的層來獨立完成工作,而不會破壞上游或下游參與人員的創作。USD 最基本的構圖弧線,即子層操作符,通過允許美工人員在自己的層中工作,使不同部門或同一部門內的多個美工人員同時在同一資產或場景上工作,所有這些都將在USD 文件中明確指定的強度順序中進行組合和解決。當建模的美工人員更改較弱層中定義的幾何拓撲時,此功能雖不能自動調整較強層中的陰影數據,但它可以使每個美工人員獨立工作,而無需刪除或編輯任何其他美工人員的工作,并有助于提供更改的清晰審計跟蹤,有助于解決諸如更改拓撲之類的問題。

另外,USD 具備通用性。由于USD 是一個開源的項目,可以在不同的軟件之間交互使用。USD提供了豐富的通用語言,用于定義、打包、組裝和編輯3D 數據,方便使用多個數字內容創建應用程序。像許多其他交換包一樣,USD 提供了一個低級數據模型,在“文件格式級別”規定了數據如何編碼和組織,加上一組 (可擴展的)高級模式,為網格或轉換等提供有意義的API和組織。在此基礎上,可以創建具有幾何圖形、材質、燈光和其他屬性的資產定義。

4 USD在影視后期制作中的應用

USD 的出現,規范了后期制作的流程,使得不同團隊、使用不同操作軟件的工作人員都可以在同一體系下交流協作,大大提升了影視后期制作的效率。皮克斯在2019年上映的動畫電影《玩具總動員4》中,構建了一個擁有超1萬億個多邊形的世界,實現這樣龐大的三維場景,依賴于不斷進步的圖形渲染和數據管理,也是皮克斯在USD 應用層面的一次成功。值得一提的是USD 的變體操作符功能,為 《玩具總動員4》中的每種資產創建了多個變體,如圖1所示,借助USD 的變體功能,實現了以多種形狀、著色和紋理進行資產的差異化創建,以形成資產的多版本變體,并能以指定版本進行資產調用。自此,皮克斯將USD 納入具有悠久歷史的跨部門協作標準流程,演變成了符合當代制作要求的新型資產流程工具。

圖1 借助USD變體功能生成差異化資產

同時,因其開源特性,不同團隊在使用它時,可以根據需求在其基礎上擴展新功能。如圖2所示,Animal Logic工作室在2021年上映的動畫電影《比得兔2:逃跑計劃》中,就使用了USD 的燈光渲染工作流程。USD 在燈光工具組的工作中發揮了非常重要的作用,Animal Logic工作室開發了名為Grip的USD 原生庫,是基于節點基礎的程序化場景修改工具,還有另外一個Filament QT-based應用,讓藝術家可以與USD 場景、Grip 引擎、產品、渲染器和流程工具等進行交互。這些功能都大大提升了電影的制作效率。

圖2 動畫電影 《比得兔2:逃跑計劃》中USD燈光渲染制作界面

鑒于USD 的非破壞性編輯和通用性等優點,越來越多電影制作部門開始使用USD,改善原制作流程中3D 數據協作困難的狀況,擁有USD 邏輯的USD 工作流程也應運而生。如圖3 所示,USD 工作流程最大的特點就是解決了原流程中多方協作和文件讀取困難導致的重復返工問題。在USD 工作流程中,Layout、動畫、特效、燈光等每一個部門,都可以使用USD 文件相互交流,允許各部門僅保留自己工作需要的圖層參考,而隱藏掉和自己完全無關的圖層。同一個部門的不同工作者也可以通過建立子圖層,在不更改別人工作結果的情況下,給出自己的編輯和修改,這使得整個流程更加便捷高效。

圖3 USD工作流程示意圖

除了流程上的簡化,USD 以其獨特的封裝方式,為影視后期制作帶來了新技術優勢。如圖4所示,以Maya的相同場景內容為例,通過對比以普通場景保存和通過USD 方式保存的兩種文件,不難發現,USD 存儲的場景在存儲時間和打開時間上均優于普通方式,文件大小也減少了許多。

圖4 普通場景與USD場景對比示意圖

Maya支持的USD文件包括.usd、.usdc、.usda以及部分.usdz多種格式文件。在導出方面,Maya 2023支持ASCII(.usda文件)和二進制格式(.usd或.usdc文件)兩種方式導出USD 文件,在導出時選擇合適的導出模式即可。隨著USD 的發展和被行業廣泛認可,越來越多后期制作軟件開始兼容USD。Render Man 發布了適用于USD 插件USD Hydra的圖像處理插件hdPrman以支持USD的使用；Houdini 18及其用于外觀開發的Solaris工具集也是完全基于USD 搭建的；Maya 2023.3已支持USD 的最新版本USD v0.20.0。相信隨著技術的革新和應用的推廣,未來,USD 將在后期制作中發揮重要作用。

5 結語

USD 的研發和應用,從一定程度上規范了影視制作中的后期制作流程,為不同部門從業者和不同軟件使用者之間,搭建了交流協作的橋梁,提升了后期制作效率,也為視效技術的發展提供了通用數據處理方案,推動影視行業3D 資產標準化管理。未來,隨著數字電影技術的不斷發展,數字資產的生成、存儲、處理、管理和復用將更加便捷和規范。