基于時間與空間濾波的實時路徑追蹤去噪算法研究

賀衛東

（四川大學計算機學院，成都610065）

0 引言

隨著近年來圖形渲染技術的發展及顯卡硬件性能的提升，游戲、動畫、電影等領域對渲染畫面的真實感有了更高的追求。在動畫、電影等領域，基于蒙特卡洛的路徑追蹤算法[1]被廣泛應用于生成具有高真實感的渲染圖像。然而，在游戲、VR 等實時渲染領域，渲染算法的效率是否滿足實時性的要求是首要考慮的因素。為了得到具有高質量的渲染圖像，基于蒙特卡洛的路徑追蹤算法需要為每個像素生成大量的樣本，從而導致該算法的效率低下，無法滿足實時性的要求。如果為每個像素生成較少的樣本，則會導致生成的圖像中存在大量的噪點。因此，在實時渲染領域，路徑追蹤算法很少被應用。

目前實時渲染領域中已經存在大量的全局光照算法，例如基于預計算的光照貼圖與體積光照貼圖[2]算法、即時輻射度算法[3]、基于體素的全局光照算法[4]等。然而這些算法都存在各種限制，例如無法實現光澤反射或者鏡面反射、不支持動態場景等。相比較而言，路徑追蹤算法并不存在上述的限制，該算法能夠在統一的框架下在實現多種渲染效果，如軟陰影、光澤反射。因此，如何讓路徑追蹤算法達到實時渲染的效率要求，從而使得該算法能夠被應用在實時渲染領域是一個問題。通過減少路徑追蹤算法中每個像素所需要的樣本是解決該問題的一個方向。然而，過少的樣本將會導致圖像中存在過多的噪點，因此在減少樣本數的同時如何去除渲染圖像中的噪聲并保證圖像的質量成為了一個重要的問題。

目前，國內外對路徑追蹤算法的去噪問題已經存在了一定的研究成果。基于路徑采樣的優化方法，如重要性采樣[5]、雙向路徑追蹤[6]、Metropolis 采樣[7]等，能夠選取對最終像素顏色具有更高貢獻率的路徑。然而，這些方法依然需要數百乃至上千的樣本才能夠達到較好的渲染效果，無法滿足實時渲染的要求。適應性重建方法[8]能夠在每個像素只含有較少樣本（4～16個樣本）時得到具有較高質量的渲染圖像。然而，該類方法除了會引入少量的偏差外，也依然無法滿足實時性的要求。在當前顯卡的性能限制下，每個像素只生成一個樣本才能夠滿足實時渲染的要求。本文研究了一種基于時間與空間濾波的路徑追蹤去噪算法。該算法能夠在每個像素含有一個樣本的情況下對渲染圖像中的噪聲進行過濾，并重建出具有較高質量的渲染圖像。

1 算法

本文所實現的路徑追蹤算法需要借助能夠支持DirectX Raytracing 功能[9]的NVIDIA 顯卡。在當前的情況下，顯卡的光線追蹤性能為200×300 Mrays/sec[10]。在1920×1080 分辨率的情況下，為了滿足每秒30 幀的實時要求，每個像素在每幀中只能夠發射少數的幾根光線。因此，為了滿足實時性的要求，本文對離線渲染中所使用的路徑追蹤算法進行了一定的修改與限制，并結合了硬件的光柵化功能來加速渲染算法的效率。本節先簡要描述在顯卡（Graphics Processing Unit，GPU）中實現的路徑追蹤算法，然后再對時間與空間濾波進行詳細地描述。

1.1 路徑追蹤渲染算法

本文所使用的路徑追蹤算法在每幀中只為每個像素中采樣一個樣本。由于采用隨機生成的方式生成的采樣路徑能夠擊中光源的概率較小，為了采樣得到對像素具有更高貢獻值的路徑，本文采用了下一次事件估計策略（next event estimation），在路徑的每個頂點上直接采樣光源來進行直接光照的方式來增加采樣對像素具有更高貢獻率的路徑。另外，由于顯卡性能的限制，本文渲染算法只進行一次光線反彈，并借助顯卡硬件的光柵化功能來生成主光線。渲染算法的大致流程如下：

（1）通過光柵化生成幾何緩存（G-Buffer）[11]來保存場景的世界坐標、法線以及深度以及材質信息。

（2）從幾何緩存中獲取世界坐標作為光線的起始點，從場景中的光源隨機選擇一個光源（或者基于重要性采樣方法）發射陰影光線，計算光源入射到該點的亮度，并存儲于DirectIllumination 緩存中，然后計算該點的BRDF 值并存儲于DirectAlbedo 緩存中。

（3）根據該起始點的BRDF 信息進行重要性采樣來生成光線反彈方向。在發射光線得到與場景的相交點后，使用相同的方法計算該點的直接光照亮度，并存儲到IndirectIllumination 緩存中。同樣的，將起始點的間接光BRDF 值存儲到IndirectAlbedo 緩存中。

（4）使用時間與空間濾波來對DirectIllumination 緩存和IndirectIllumination 緩存進行過濾，并得到過濾后的光照緩存。

（5）將過濾后的光照緩存與DirectAlbedo 緩存以及IndirectAlbedo 緩存結合生成最終的結果。

（6）對最終的結果使用色調映射算法來得到一個低動態范圍的結果。

（7）使用時間反走樣算法[12]來增強結果的時間穩定性以及對物體幾何邊緣進行過濾。

如上所述，在渲染算法中，為了滿足實時性的要求，每個像素總共只發射了三條光線。一條光線用于反彈間接光，另外兩條陰影光線用于判斷光源的可見性。另外，為了能夠更好地重構出直接光導致的陰影，算法將直接光與間接光分開進行重建，避免間接光對直接光中陰影的重建產生影響。其次，為了避免重建算法對雙向分布反射函數（BRDF）產生的細節造成模糊，本文渲染算法將BRDF 從輻射亮度中分離，然后對只對分離得到的光照亮度（DirectIllumination 以及IndirectIllumination）進行過濾重建，最后再與BRDF 合成的方式來避免對細節的模糊。

1.2 時間與空間濾波

為了降低路徑追蹤算法中由于每個像素只有一個樣本所引起的噪聲，本文算法采用了一種基于時間與空間的濾波來進行過濾重構。在適應性重建技術領域，目前已經存在了較多的算法能夠在數百個、乃至數十個樣本的情況下重建出較好的全局光照效果。然而，這些算法都只適用于離線渲染領域，對于實時渲染領域而言，這些算法所要求的樣本數目在性能的限制下都無法被滿足。在前者研究的基礎上，本文的時間與空間重構濾波實現了在一個樣本的情況下能夠重構出具有較高渲染質量圖像的能力。本文的重構濾波算法大致分為以下三個步驟：

（1）通過時間濾波在時間上累積路徑追蹤算法所得到的的樣本信息并存儲到歷史緩存中

（2）使用時間濾波累積得到的樣本顏色信息來估計像素中樣本的局部亮度方差

（3）通過估計的局部亮度方差以及幾何信息指導edge-stopping à-Trous wavelet transform 濾波[13]進行空間過濾

如上所述，本文濾波算法使用了時間濾波來在在每一幀中累積樣本信息。該時間濾波的基本思想是通過將屬于同一個像素并分布在不同幀的樣本信息在當前幀進行融合累積。為了達到該目的，算法通過存儲上一幀的模型矩陣、觀察矩陣以及投影矩陣來將當前幀幾何緩存中的世界坐標重投影到上一幀累積的結果中，并進行歷史信息有效性的判斷。上一幀的累積結果與當前幀樣本的累積方式如公式（1）所示，Si為當前幀累積的信息，Si-1為上一幀累積的信息，即歷史累積信息，α 為累積系數（取值為0.05～0.1 左右），Ci為當前幀的樣本信息。

對于時間濾波而言，歷史有效性的判斷是一個重要的問題。由于前后兩幀中相機可能在運動、或者場景中的物體在運動，從而可能導致當前幀的像素在上一幀中由于被遮擋而在當前幀不可見，最終使得該像素無法獲得歷史累積信息。

圖1 重投影操作

如圖1 所示，在當前第N 幀中，第（x,y)個像素中某個樣本所發射的光線與場景中紅色的點相交，將該相交點重投影到前一幀（即第N-1 幀），在歷史緩存中能夠得到綠色的顏色信息。然而，從圖中可以看出，該歷史信息屬于不合法的歷史信息。因為實際上在前一幀中，該紅色的點對于相機而言不可見，因此無法從歷史緩存中獲得。因此，為了避免混合錯誤的歷史信息。歷史信息的有效性判斷是一個重要的問題。本文算法采用了基于幾何屬性（深度）的方式來進行判斷歷史信息的有效性，如公式（2）所示。

當歷史信息無效時，本文算法直接設置累積系數α為0，即直接使用當前幀的樣本。

在通過時間濾波來進行樣本累積的同時，濾波算法也需要估計被累積的樣本的顏色亮度方差。通過對被累積的樣本顏色亮度進行方差估計，算法可以推測出該像素中的噪聲大小，并以此依據來指導空間重構濾波。在估計方差時，算法通過公式來累積像素中樣本顏色亮度的第一階原點矩μ1i與第二階原點矩μ2i，然后通過公式來計算方差σ2i，如公式（3）所示。當歷史累積結果失效或者其他原因導致累積的樣本數目較少時（少于4 個樣本），由于無法通過累積的樣本信息來估計方差，本文算法采用在空間上估計方差的方式作為一種替代策略。通過在一個7×7 大小的像素窗口上使用聯合雙邊濾波來估計像素的方差，并使用鄰域像素的法線以及深度來作為權重。

在估計完累積的樣本顏色亮度方差后，算法使用了一種稱為edge-stopping à-Trous wavelet transform 濾波[13]的空間濾波來對累積的光照緩存進行空間過濾。該空間濾波是一種層次性的濾波，通過多次迭代，該濾波能夠以較小的性能消耗達到過濾一個較大的像素窗口的目的。另外，為了避免對幾何邊緣以及其他的細節的模糊，該空間濾波使用基于幾何屬性的權重計算函數來保存幾何邊緣和其他一些細節。

本文算法所使用的空間濾波可以視為一種多次迭代的雙邊聯合濾波。每次迭代的濾波公式如公式（4）所示，p 與q 為像素的坐標，Ω 為濾波的像素窗口范圍，本文所使用的像素窗口大小為5×5 個像素大小，ci+1(p) 為重建后的結果，ci(q) 為濾波的輸入，是濾波的過濾核，w(p,q)是濾波的權重。

為了保持幾何物體的邊緣以及其他細節不被模糊，濾波的權重w(p,q)與像素的深度、法線以及顏色亮度有關。如公式（5）所示，其中wi(p,q)為像素點p 與q之間的過濾權重，wz為基于像素深度的權重，wn為基于法線的權重，wl為基于顏色亮度和亮度方差的權重。

公式（6）描述了基于深度的權重wz的計算方法，其中?z(p)是像素點p 的深度微分，z(p)與z(q)分別是像素點p 與q 上的深度，其中δz可以根據場景的不同選取不同的值，大部分情況下的取值為1。公式（7）描述了基于法線的權重wn的計算方法，其中n(p)與n(q)是像素點p 與q 處的法線，且δn的經驗取值為128。公式（8）描述基于顏色亮度的權重wl的計算方法，li(p)和li(q) 是像素點p 與q 處累積的樣本顏色的亮度，var(li(p))為像素點p 處所估計得到的樣本顏色亮度方差，g3×3是窗口大小為3×3 的高斯濾波。

2 實驗結果

本實驗設備的配置CPU 為Intel Core i5-7400 3.00 GHz，顯卡為NVIDIA GeForce RTX 2060，并以Visual Studio 2017 為開發平臺，通過使用DirectX 12 圖形API 開發完成。

圖2 法線圖

圖3 世界坐標圖

圖2 與圖3 為渲染得到的幾何緩存紋理，分布包含了法線以及世界坐標信息。圖4 與圖5 分別為每幀的DirectIllumination 緩存與IndirectIllumination 緩存。在沒有使用時間與空間濾波的情況下，在每幀中每個像素使用一個樣本的情況下得到的具有大量噪聲的渲染圖像如圖6 所示。圖7 為在相同的渲染設置下使用時間與空間濾波重構后得到的渲染圖像。從圖6 與圖7 兩幅圖像的對比中可以看出，本文的渲染算法能夠對只含有一個樣本的渲染結果進行高質量的降噪與重建。同時，本文所使用的渲染算法與濾波能夠達到40fps 的渲染效率，能夠很好地滿足實時性的要求。

圖4 Direct Illumination緩存

圖5 Indirect Illumination緩存

圖6 一個樣本的噪點圖

圖7 過濾重建后的圖像

3 結語

本文給出了簡要概述了在顯卡中實現路徑追蹤算法的基本框架，并提供了一種基于時間與空間的濾波方法。該濾波能夠在每個像素含有一個樣本點的情況下，對渲染得到的具有大量噪聲的圖像進行有效地去噪與重建處理，從而得到具有高質量的渲染圖像。通過本文所提供的算法，實時路徑追蹤算法逐漸成為可能。

雖然本文所提供的算法能夠使得實時路徑追蹤算法成為可能，然而相比較于離線渲染算法而言，本文算法依然存在一些限制。例如，基于實時性的要求，本文算法限制了路徑的最大長度，從而使得渲染結果相比較于離線渲染而言具有一定的差異。另外，對于某些樣本方差較高的像素而言，例如像素中只有較少的樣本才對最終的像素顏色有貢獻，本文算法可能會無法完美地重構最終生成高質量的結果，并會產生少量幀間變化的噪聲。在后續的研究中，我們希望能夠對這些問題進行進一步的研究并能夠較好地解決它們。