基于視差貼圖的偽室內(nèi)貼圖的研究與實現(xiàn)

張 旻 孫略

北京電影學(xué)院影視技術(shù)系,北京 100088

1 引言

隨著計算機技術(shù)的不斷發(fā)展,虛擬攝制技術(shù)已經(jīng)成為電影制作領(lǐng)域中的一個新興熱點。在虛擬場景中,建筑物門窗內(nèi)景是一個關(guān)鍵因素,它能夠增強觀眾的視覺體驗。然而,使用普通貼圖時,在鏡頭運動的過程中,建筑內(nèi)景如同玻璃上的貼紙,無法產(chǎn)生透視變化,導(dǎo)致畫面真實感有所欠缺。若使用真實三維模型,在場景較為龐大時性能開銷較大,會對虛擬攝制的效率造成影響。

許多游戲和虛擬世界都以大城市為特色,在很大程度上,這些圖形質(zhì)量取決于建筑的渲染方式。為了保證足夠流暢的交互性,制作者需要在保持一定的實時幀率下盡可能地實現(xiàn)更多細節(jié),于是各種貼圖技術(shù)應(yīng)運而生。其中典型的有水平貼圖 (Horizon Mapping)、凹凸貼圖 (Bump Mapping)、法線貼圖(Normal Mapping)、置換貼圖(Displacement Mapping)等,這些技術(shù)都可以在一定程度上提升虛擬場景的細節(jié),但它們對渲染建筑門窗內(nèi)景并無幫助。視差貼圖 (Parallax Mapping)可以更真實地呈現(xiàn)出物體表面的凹凸感、自我遮擋和運動視差效果,但是對于建筑內(nèi)景這種視覺上整體內(nèi)陷且較為“陡峭”的效果并不適用。如圖1所示,室內(nèi)貼圖(Interior Mapping)的誕生解決了內(nèi)景渲染的部分問題,并在業(yè)界得到了廣泛應(yīng)用。在游戲《漫威蜘蛛俠》《守望先鋒》《黑客帝國覺醒》中都有室內(nèi)貼圖的身影。

圖1 室內(nèi)貼圖示意①

游戲制作技術(shù)與游戲引擎在影視行業(yè)的虛擬攝制中扮演著重要的角色。虛擬攝制是實時拍攝環(huán)境中物理資產(chǎn)和數(shù)字資產(chǎn)的結(jié)合,游戲引擎在實時生成視覺效果方面的性能卓越,因此基于游戲引擎與LED 背景墻的方式是當(dāng)前最受歡迎的虛擬攝制方式。游戲引擎的普及與發(fā)展也對影視行業(yè)與游戲行業(yè)的技術(shù)碰撞產(chǎn)生了有力的影響。游戲制作行業(yè)在計算機圖形學(xué)和游戲引擎應(yīng)用方面擁有豐富的經(jīng)驗積累,而這些應(yīng)用于游戲制作的技術(shù)也可助力影視行業(yè)實現(xiàn)虛擬攝制。例如,游戲制作中常用的三維建模技術(shù)和動畫制作方法,可以創(chuàng)造出逼真的虛擬環(huán)境和場景,而這些虛擬環(huán)境和場景也可以用于影視行業(yè)的實時拍攝。此外,游戲引擎提供的光線追蹤、陰影計算、深度緩存等功能,也能夠幫助虛擬場景生成接近真實物理世界的光影效果,滿足影視行業(yè)對于虛擬場景真實度的需求。游戲制作技術(shù)與游戲引擎技術(shù)對于影視行業(yè)具有極其重要的意義,它們的應(yīng)用不僅可以為影視行業(yè)的虛擬攝制提供強大的技術(shù)支持,也可以給影視行業(yè)的發(fā)展帶來巨大的啟發(fā)。

2 偽室內(nèi)貼圖理論研究

偽室內(nèi)貼圖通常通過室內(nèi)貼圖技術(shù)實現(xiàn),室內(nèi)貼圖技術(shù)通過著色器在建筑表面模擬出一個內(nèi)部空間。由于室內(nèi)貼圖僅僅是在表面模擬出一個內(nèi)部的“盒子”,室內(nèi)的家具等陳設(shè)依然是沒有體積感的貼圖,在遠景到中景時表現(xiàn)較好,而在中景到近景則會因為室內(nèi)家具等物品缺乏體積感而表現(xiàn)較差。對此,一種解決思路是,在 “盒子”空間中某些位置通過著色器算法加入一些與建筑外表面平行的虛擬平面,用來顯示家具或人物,此種方法缺點明顯,只有在接近正面觀察角度時有較好的視覺表現(xiàn)；而《黑客帝國覺醒》提出了另一種思路,其制作人員稱之為“3D 打印法”,實際是使用視差貼圖技術(shù)渲染具有體積感家具,同時結(jié)合室內(nèi)貼圖技術(shù),實現(xiàn)較為接近真實三維模型的室內(nèi)場景貼圖效果。

視差貼圖技術(shù)最初于2001 年由Tomomichi Kaneko等人提出,隨后為解決該技術(shù)的不足,誕生并發(fā)展了多種相關(guān)貼圖技術(shù)。本章將介紹并分析與偽室內(nèi)貼圖效果相關(guān)的貼圖技術(shù)。

2.1 視差貼圖

視差貼圖 (Parallax Mapping)可通過存儲物體表面高度的高度圖 (Height Map)模擬平面上的高度,能夠極大地提升表面細節(jié),使簡單的平面具有高度感。由于視差貼圖并不實際改變平面的幾何形狀,高出平面的部分會被平面邊緣 “切斷”產(chǎn)生視覺錯誤,通常使用表示表面深度的深度圖(Depth Map)模擬其表面深度,使平面產(chǎn)生視覺上凹陷的效果。

視差貼圖技術(shù)的基本原理如圖2所示,不規(guī)則曲線代表相應(yīng)位置高度貼圖的數(shù)值,同時也可作為立體表面的幾何表示。通過觀察向量v觀察平面時,若平面有實際的高度變形,觀察者將看到交點B,然而平面并沒有實際的高度變形,觀察者真正看到的是點A。視差貼圖的目的是在點A 處使用虛擬交點B在平面上的投影點C的紋理坐標(biāo),即將平面上的點A 的紋理坐標(biāo)偏移至點C,觀察者就如同在點A 處看到了點B。

圖2 在點A 處使用點C的紋理采樣

因此,視差貼圖的核心思路就是:如何通過高度貼圖、觀察向量與平面上的點A 的位置找到虛擬交點B在平面上的投影點C的紋理坐標(biāo)。

一種近似方法如圖3所示:取得點A 的高度值H (A),通過高度值將觀察向量v縮放為向量P,取向量P在平面上的投影向量,并乘上一定的修正系數(shù),作為紋理坐標(biāo)偏移向量。

這種方法在部分情況下結(jié)果較好,但它仍然是一個粗糙的近似值,一方面因為修正系數(shù)的適應(yīng)范圍有限,但絕大部分向量P 最終不會到達點C,這會使結(jié)果產(chǎn)生誤差；另一方面,當(dāng)表面高度較為“陡峭”,即高度變化較為劇烈時,或通過與平面夾角更小的角度去觀察平面時,結(jié)果會更加偏離實際,在視覺上產(chǎn)生失真。如圖4 所示,H (P)與H(C)相差較大。

圖4 高度劇烈變化時近似結(jié)果偏差較大

2.2 陡峭視差貼圖

陡峭視差貼圖 (Steep Parallax Mapping)是視差貼圖的擴展,兩者基本原理相同,但陡峭視差貼圖使用多次采樣來確定偏移向量P,提高了精確性,在面臨高度陡峭變化或較小觀察角的情況時,結(jié)果相對更好,其采樣結(jié)果更接近虛擬交點B。

陡峭視差貼圖的核心思路是:通過多次采樣對比深度值,判斷觀察向量v是否“穿過”物體表面,從而近似得到虛擬交點B。其具體實現(xiàn)方法是:將總深度范圍平均劃分為n層,從上到下遍歷深度層,并沿觀察向量v在平面上的投影向量P 方向按P/n距離逐步移動采樣紋理坐標(biāo),逐次與當(dāng)前層深度D(Ln)進行比較,直到采樣深度值小于當(dāng)前采樣深度層的深度值。

以圖5所示為例,使用歸一化的深度值,將深度分為5層,從點T0出發(fā)沿偏移向量P 的1/5前進,依次采樣深度值并與當(dāng)前層的深度值對比:從采樣點T0出發(fā)開始進行采樣,點T0的深度值D(T0)大于當(dāng)前層深度值0,前進至采樣點T1,點T1的深度值D (T1)大于當(dāng)前層深度值0.2,繼續(xù)前進至下一采樣點,以此類推直至采樣至點T4,此時發(fā)現(xiàn)采樣點T4的深度值D (T4)小于當(dāng)前層深度值0.8,即可判斷交點B在第3層與第4層之間,以當(dāng)前層深度0.8作為點T0的深度。

圖5 陡峭視差貼圖的多次采樣

可以看出,由于陡峭視差貼圖以每個分層深度作為最終采樣深度,在視覺上會呈現(xiàn)出斷層與明顯的鋸齒效果,采樣精度直接取決于有限的分層數(shù)量:分層數(shù)較低時,性能開銷較低,采樣精度較低,視覺效果較差；分層數(shù)較高時,視覺效果較好,但性能開銷隨分層數(shù)線性上升。為解決這個問題,有兩種思路,一種是在包含虛擬交點的兩個深度層之間對深度進一步做分層采樣以繼續(xù)逼近交點,此種方法稱為浮雕視差貼圖 (Relief Parallax Mapping),另一種是在兩個深度層之間進行插值計算得到更好的近似結(jié)果,此種方法稱為視差遮蔽貼圖(Parallax Occlusion Mapping)。對比兩種思路,視差遮蔽貼圖只需在陡峭視差貼圖的基礎(chǔ)上進行一次計算,額外性能開銷較低。

2.3 視差遮蔽貼圖

視差遮蔽貼圖是陡峭視差貼圖的拓展,在最后加入了額外的步驟:在得到虛擬交點B前后相鄰兩個深度層之后進行插值計算,得出更接近于點B 的結(jié)果。

基于上一節(jié)中陡峭視差貼圖的采樣結(jié)果,如圖6所示,虛擬交點B 的前后相鄰兩次深度采樣點的連線與觀察向量v交于點P,P 點的深度值D (P)相比于陡峭視差貼圖的最終結(jié)果D (T4),更為逼近理想的采樣結(jié)果D (B)。在實際計算過程中,利用相似三角形原理,通過兩次深度采樣值與對應(yīng)的層深度分別計算深度差,以此為權(quán)重進行插值計算,再進行一次紋理坐標(biāo)偏移,即可得到最終結(jié)果。由此可見,視差遮蔽貼圖技術(shù)可以用較小的額外性能代價獲得更精確的視覺效果。

2.4 室內(nèi)貼圖

室內(nèi)貼圖與視差貼圖思路相似,也是通過紋理坐標(biāo)的偏移在平面上產(chǎn)生虛假的三維影像。如圖7所示,首先使用貼圖在真實平面后方偽造一個立方體空間,而后當(dāng)通過攝像機觀察內(nèi)部空間時,對于平面上的點P,觀察向量v首先穿過點P后經(jīng)點Q穿出立方體,此時將點Q 處的紋理采樣至點P 處,便可“偽造”一種看到Q 點的假象。對整個平面進行采樣后,就可以在二維平面上實現(xiàn)虛假的內(nèi)部空間。由此可見,室內(nèi)貼圖實現(xiàn)的關(guān)鍵點是:如何通過觀察向量v與入射點P的位置找到出射點Q的位置。

圖7 將點Q的紋理采樣至點P

首先,將點P坐標(biāo)減去攝像機坐標(biāo)得到觀察向量v,由于立方體貼圖空間是一個軸對齊立方體,問題可等價于尋找從點P出發(fā)的向量v在三個軸向上最先“擊中”的立方體邊界。

如圖8所示,可將向量v按坐標(biāo)軸分解為x、y、z三個方向的“速度”,分別求得每個方向上擊中邊界所需要的“時間”,于是有:

圖8 分解觀察向量v

分別計算出三個軸向上的擊中時間t,其中用最短時間擊中的邊界就是向量v最先擊中的邊界,將從點P 出發(fā)的觀察向量v乘上最短時間tmin就可以得到出射點Q 的坐標(biāo):

成功計算出出射點Q 的坐標(biāo)后,通過坐標(biāo)可以在對應(yīng)的紋理貼圖中獲取表面顏色等信息,于是可實現(xiàn)將立方體貼圖采樣到平面上,獲得最終的視覺效果。

3 相關(guān)貼圖制作

3.1 視差貼圖

視差貼圖需要至少兩張貼圖:紋理貼圖和高度貼圖。在3ds MAX 中搭建測試場景,創(chuàng)建一個正方體作為房間范圍參考,并將測試物體放置在立方體范圍內(nèi)。

使用正交攝像機 (Orthographic Camera)分別渲染正向視圖、正向深度圖與反向深度圖,攝像機擺放如圖9所示,設(shè)置攝像機的目標(biāo)距離與立方體邊長相等,可計算出攝像機水平視角為2arctan0.5,約等于53.13°。

圖9 正交攝像機擺放示意

之后分別提取正向深度圖的紅色通道與反向深度圖的綠色通道,將反向深度圖水平翻轉(zhuǎn)并與正向深度圖相加,即可得到同時包含正反深度信息的合成深度圖,如圖10所示。

圖10 渲染圖與深度圖

3.2 立方體貼圖

立方體貼圖可通過多種方法獲取或制作,本文介紹其中一種制作方法:通過全景環(huán)境貼圖制作立方體貼圖。

首先獲取一張室內(nèi)環(huán)境的全景貼圖,如圖11所示。

圖11 室內(nèi)環(huán)境全景貼圖②

在3ds MAX 中,將HDRI貼圖賦于一個較大的球體內(nèi)側(cè),通過一個較小的立方體的反射將其對應(yīng)的六個方向的環(huán)境貼圖渲染至圖像文件,如圖12所示。

圖12 六個方向的獨立貼圖文件

之后,將這六張貼圖拼接在一起,不同軟件平臺對拼接方式要求不同,本文以虛幻引擎為例,依據(jù)EPIC官方文檔,排列順序如圖13所示。

圖13 六個方向的貼圖排列順序

將3ds MAX 制作的六張貼圖按排列順序排列,最后通過Photoshop的DDS插件③將其輸出為DDS格式的立方體貼圖文件,選擇格式為8.8.8.8 BGRA 32 bpp|unsigned,立方體貼圖制作完成。

4 在虛幻引擎(UE) 中的實現(xiàn)與測試

4.1 基于虛幻引擎(UE)的實現(xiàn)

基于以上的技術(shù)分析與制作的貼圖,將室內(nèi)貼圖技術(shù)與視差遮蔽貼圖技術(shù)相結(jié)合,梳理并總結(jié)偽室內(nèi)貼圖實現(xiàn)流程如圖14所示。在虛幻引擎中對偽室內(nèi)貼圖的實現(xiàn)如圖15所示。

圖14 偽室內(nèi)貼圖流程圖

圖15 UE5中偽室內(nèi)貼圖的實現(xiàn)

值得一提的是,由于各軟件的三維軸向定義不同,立方體貼圖的Z軸方向(即“地板”與“天花板”)的貼圖朝向有可能會產(chǎn)生錯誤。依據(jù)實際情況對立方體貼圖進行調(diào)整,最終實現(xiàn)效果如圖16所示。

圖16 實現(xiàn)效果與立方體貼圖調(diào)整后的結(jié)果

4.2 性能對比測試

如圖17所示,在虛幻引擎中搭建與偽室內(nèi)貼圖相似的真實三維模型內(nèi)景進行測試。測試平臺配置如 下:CPU 為Intel Core i7-10875H,GPU 為NVIDIA GeForce RTX 2060 6G,內(nèi)存為64GB DDR4 3200MHz；使用虛幻引擎5.0.3版本,渲染分辨率為3840×2160；使用偽室內(nèi)貼圖的單個平面含有2個三角面,單個真實三維模型內(nèi)景則包含5220個三角面。偽室內(nèi)貼圖測試分為3次,分別設(shè)置視差遮蔽貼圖分層數(shù)為50、100、200,通過調(diào)整場景中的實例數(shù)量,測試其實時渲染幀速率,結(jié)果如圖18所示。

圖17 測試場景搭建

圖18 偽室內(nèi)貼圖與真實三維模型內(nèi)景實時渲染性能對比

由此可見,在視差遮蔽貼圖使用較低分層數(shù)時,偽室內(nèi)貼圖在性能上有一定優(yōu)勢。若應(yīng)用在虛擬攝制中,可根據(jù)拍攝的景別大小動態(tài)調(diào)整,畫面中建筑較多時適當(dāng)調(diào)低分層數(shù),畫面中建筑較少時則可以適當(dāng)調(diào)高分層數(shù),在保證實時渲染幀率的前提下盡可能提升畫面質(zhì)量。

5 總結(jié)

虛擬攝制技術(shù)的出現(xiàn)標(biāo)志著電影制作進入了一個新的時代,使得制作者能夠在無需真實拍攝的情況下創(chuàng)作出高質(zhì)量的虛擬場景。這種技術(shù)與游戲行業(yè)有著密切的關(guān)系,因為游戲引擎是虛擬攝制技術(shù)的重要工具之一,隨著技術(shù)的不斷發(fā)展,游戲引擎的身影越來越多地出現(xiàn)在電影制作過程中,使得游戲與電影之間的界線變得越來越模糊。與此同時,許多應(yīng)用于游戲制作行業(yè)的技術(shù)也適用于電影制作,這些技術(shù)可以在電影制作中使用,以增強觀眾的視覺體驗,縮短制作周期并降低制作成本。

本文分析并實現(xiàn)了偽室內(nèi)貼圖技術(shù),偽室內(nèi)貼圖技術(shù)可以在較低資源開銷下實現(xiàn)建筑門窗內(nèi)景空間渲染。當(dāng)虛擬場景中有大量建筑時,若使用真實三維室內(nèi)場景,在制作、存儲、渲染等方面都需要耗費大量資源。使用偽室內(nèi)貼圖技術(shù)可以在保證一定視覺效果的前提下簡化制作流程、節(jié)約存儲空間、降低渲染壓力。制作流程方面,在虛擬場景中使用貼圖替代三維模型可以省去多細節(jié)層次 (LOD)的制作,替換貼圖相較于替換模型也更節(jié)約存儲空間,立方體貼圖、深度貼圖、材質(zhì)貼圖與三維模型場景相比,所需的存儲空間較低。實時渲染方面,本文已通過實驗驗證了偽室內(nèi)貼圖技術(shù)的性能優(yōu)勢。

此技術(shù)也有一定不足,如:視差遮蔽貼圖的分層較為明顯,導(dǎo)致近景的視覺精度下降；深度貼圖只能在一個軸向上實現(xiàn)深度效果,缺乏對復(fù)雜模型的表現(xiàn)力；與場景中燈光、陰影、動力學(xué)等交互效果欠缺。以上不足需要進一步優(yōu)化,在后續(xù)研究中加以解決。

注釋

①圖片源自會議論文Interior Mapping:A new technique for rendering realistic buildings,作者Joost van Dongen。

②圖片源自網(wǎng)站polyhaven.com。

③此處使用英偉達紋理工具導(dǎo)出器的Adobe Photoshop插件版本,簡介及下載地址:https://developer.nvidia.com/nvidia-texture-tools-exporter。