超55款游戲上市，DLSS即將支持Linux 聊聊NVIDIA DLSS

夏松

日前，NVIDIA以在線媒體會的形式宣布對DLSS又進(jìn)行了新一輪的支持游戲的更新。在此之前，NVIDIA的游戲黑科技DLSS已經(jīng)實現(xiàn)了對超過55款熱門游戲的支持，其中就包括《使命召喚：戰(zhàn)爭地帶>《控制》《賽博朋克2077》《堡壘之夜》《地鐵：離去PC增強(qiáng)版》《我的世界》等熱門主流3A級游戲大作。同時，從NVIDIA官方獲悉，接下來6月22日上線的《樂高建造者之旅》，6月29日更新的《毀滅戰(zhàn)士：永恒》和《荒野大鏢客：救贖2》，以及7月之后將發(fā)售的《腐蝕》《涅克洛蒙達(dá)：賞金獵人》《切爾諾貝利》等游戲中，都將添加對NVIDIA DLSS的支持。同時，NVIDIA也放出了針對這些游戲的DLSS性能測試，著實讓人期待！

主流游戲引擎全面支持，Linux玩家福利即將來到

說起DLSS，相信大家應(yīng)該不會陌生。作為NVIDIA伴隨RTX 20系光追GPU推出的游戲黑科技，DLSS這些年來可說是為高分辨率下的光追游戲得以流暢運(yùn)行立下了汗馬功勞。作為當(dāng)今游戲業(yè)界最常用的幾個游戲引擎免費(fèi)插件之_，DLSS在各類游戲引擎中都得到了充分的擴(kuò)展，比如大名鼎鼎的虛幻引擎。

NVIDIA DLSS是業(yè)界最常用的游戲引擎的免費(fèi)插件，今年2月推出的虛幻引擎4的DLSS插件，一直支持到虛幻引擎2021.2版本，后來在6月中旬，NVIDIA又推出了基于虛幻引擎5的DLSS插件，實現(xiàn)了對UE的全系DLSS支持。而游戲引擎的插件集成將使得游戲開發(fā)者在游戲中啟用DLSS變得更加快捷且容易了許多。就像Night DiveStudios首席工程師Matthew Kenneally所說，“虛幻引擎4的DLSS插件可以輕松地將NVIDIA DLSS添加到的游戲中。帶給玩家更大更強(qiáng)的游戲震撼性表現(xiàn)，—直是我們團(tuán)隊所熱愛的工作。而NVIDIA DLSS對游戲性能與體驗的影響，是不可否認(rèn)的無與倫比。”

當(dāng)然，也不只是UE引擎中引入了DLSS插件，事實上，包括4A GAMES、CRYENGINE等在內(nèi)的多個游戲開發(fā)組都已經(jīng)將DLSS帶到了自家的內(nèi)部游戲引擎中，這樣在未來的時間里，DLSS也將能夠更快地融入將來發(fā)售的游戲大作之中。

在此次在線媒體會上，NVIDIA宣布的另一個消息可能更略有震撼性一點(diǎn)，那就是NVIDIA DLSS將通過Proton提供對Vulkan API游戲的支持。這意味著什么？這意味著那些Linux操作系統(tǒng)的玩家也能夠通過GeForceRTX GPU來獲得DLSS的幀率加速功能了，比如《毀滅戰(zhàn)士：永恒》《無人天空》《重返德軍總部：新血脈》這些基于Vulkan API的游戲在Linux平臺上也能獲得DLSS的“幀加速”功能，NVIDIA已經(jīng)計劃在2021年秋季提供經(jīng)由Proton在Linux上運(yùn)行DX向的DLSS游戲的功能，想必對Linux玩家來說，這是巨大的利好消息。

NVIDIA DLSS，因何而生？

新一代游戲的需求是什么？實時光線追蹤、大物理運(yùn)動模型、高動態(tài)CG以及4K或更高的分辨率輸出……這些需求毫無疑問都在很大程度上推動著GPU的計算能力要求以幾何指數(shù)的幅度增長。比如單獨(dú)的實時光線追蹤計算，這將比傳統(tǒng)的光柵化圖像渲染計算復(fù)雜數(shù)倍，對GPU的計算能力要求也達(dá)到了數(shù)倍的增長。在這種情況下，NVIDIA在RTX GPU中集成了單獨(dú)的RT Core來應(yīng)對光追計算要求。但是，在1440p或更高的4K分辨率下，即使擁有RT Core，對絕大部分RTX GPU來說，也不足以滿足絕大部分游戲中最高畫質(zhì)+光追效果的流暢運(yùn)行需求。因此這時候，在游戲中就需要一種額外的算法，這種算法能夠?qū)PU的計算能力集中在更少、更擬真的像素上，也就是GPU在游戲中實際渲染低于設(shè)置的分辨率的像素，然后使用分辨率縮放填充技術(shù)，以原始顯示分辨率和原始圖像質(zhì)量來欣賞這些圖像，這就是NVIDIA在圖靈核心的RTX 20系GPU上提出的“深度學(xué)習(xí)超級采樣”功能-DLSS。一種渲染更少像素，并使用先進(jìn)的AI技術(shù)以更高分辨率輸出高質(zhì)量圖像的“游戲黑科技”。

DLSS的核心就在于以低分辨率的實際渲染輸出高分辨率的圖像，自然這其中的核心挑戰(zhàn)就在于如何保留圖像中的細(xì)節(jié)，也就是以實際渲染的低分辨率來實現(xiàn)輸出的高分辨率畫質(zhì)。而實現(xiàn)這一切的核心，也要依靠NVIDIA RTX GPU中所配置的張量核心-Tensor Core。

NVIDIA在基于'Tensor Core神經(jīng)網(wǎng)絡(luò)的人工智能研究模型取得了巨大的進(jìn)步，并由此產(chǎn)生了非常高的圖像質(zhì)量。利用這項AI研究，NVIDIA開發(fā)了一種新的圖像處理算法，這種算法近似于AI研究模型并符合NVIDIA對渲染輸出的性能預(yù)算，DLSS就這樣誕生了。事實上，NVIDIA從DLSS l.0的“可預(yù)測、固定”的AI模型訓(xùn)練到DLSS 2.0的AI模型訓(xùn)練升級，DLSS的核心策略已經(jīng)發(fā)生了轉(zhuǎn)變。從DLSS 2.0開始，NVIDIA已經(jīng)不再依賴于單個的、固定游戲的神經(jīng)網(wǎng)絡(luò)，而是構(gòu)建了一個通用訓(xùn)練的AI神經(jīng)網(wǎng)絡(luò)并持續(xù)不斷地對其進(jìn)行著優(yōu)化，這也是DLSS的根本基礎(chǔ)所在。

AL加持的分辨率增強(qiáng)，DLSS工作原理簡述

前面已經(jīng)說過，NVIDIA DLSS是一種基于Tensor Core的AI超級分辨率算法，在RTX GPU內(nèi)部有Tensor Core為這一算法進(jìn)行獨(dú)立的專項加速。其實，要更簡單一點(diǎn)來理解DLSS的話，我們可以將其看作在1080p分辨率渲染下輸出4K的圖像這一過程。在1080p分辨率下渲染，游戲幀率自然相比4K分辨率會有極大程度的提升，然后輸出的圖像通過Tensor Core的AI神經(jīng)網(wǎng)絡(luò)和游戲引擎數(shù)據(jù)的再學(xué)習(xí)，對1080p的渲染圖形進(jìn)行智能增強(qiáng)，從而最終輸出4K分辨率質(zhì)量的圖像。

我們知道，在1080p分辨率下一幀游戲畫面大約需要203萬個像素（1920x1080）填充，而在4K分辨率下，一幀游戲畫面大約需要830萬個像素（3840x2160）。這也就意味著，要從1080p的實際GPU渲染分辨率到輸出4K高質(zhì)量的圖像，其中“丟失”的像素約為620萬個以上。那么毫無疑問的是，NVIDIA的DLSS這-AI算法能夠收集到的這些像素信息越多、越詳細(xì)、越準(zhǔn)確，最終輸出的4K圖像質(zhì)量就越好。那么，對RTX GPU來說，它在這一過程中是如何做的呢？

從DLSS工作流程圖中，我們可以清晰地看出，NVIDIA DLSS通過四種不同的輸入源，一起確定顯示屏上的最終輸出游戲畫面幀，也是在低分辨率實際渲染下得到高分辨率最終輸出結(jié)果的真正原因。即利用低分辨率的當(dāng)前幀、運(yùn)動矢量和高分辨率的前一幀，逐像素地確定如何生成高分辨率的當(dāng)前幀（通過訓(xùn)練好的人工智能神經(jīng)網(wǎng)絡(luò)模型）。

我們以4K分辨率、光追開啟+最高畫質(zhì)下，開啟DLSS的游戲渲染過程為例，首先看左側(cè)。在開啟光線追蹤效果后，再開啟DLSS，比如“平衡模式“或游戲內(nèi)置固定模式。這時就會產(chǎn)生第一種原始的輸入源——游戲引擎實際以較低分辨率渲染的游戲畫面幀（比如1080p或1440p圖像），這是游戲渲染過程中最原始的輸入。

接著產(chǎn)生的輸入源是由游戲引擎生成的游戲圖像的運(yùn)動矢量（Motion Vector）逐幀的預(yù)測。運(yùn)動矢量預(yù)測的意義在于，它能夠通知DLSS算法，在這一游戲場景中每個物體在幀與幀之間的運(yùn)動趨勢與方向。對DLSS來說，在一定程度上是比較依賴于運(yùn)動矢量預(yù)測來學(xué)習(xí)前一高分辨率輸出幀并渲染增強(qiáng)當(dāng)前幀的輸出。因此，對游戲引擎來說，仍然是需要將這些運(yùn)動矢量提供給DLSS。對絕大部分游戲來說，開發(fā)人員已經(jīng)在游戲中對物體的運(yùn)動提前進(jìn)行了某些形式的處理（比如某些抗鋸齒效果），而這些處理信息在游戲引擎中是可以直接使用的，并只需要提供給DLSS就行。這也就意味著DLSS仍然是需要在每一次游戲的基礎(chǔ)上進(jìn)行每一幀的預(yù)測處理，這并非是固定的處理方式，也和之前的FXAA、圖像銳化放大、點(diǎn)陣或雙線性分辨率增強(qiáng)技術(shù)等純后端的處理解決方案完全不一樣。

第三是DLSS增強(qiáng)的高分辨輸出的前一幀。高分辨率輸出的前一幀在DLSS的連續(xù)處理過程中是非常重要的。在運(yùn)動矢量的預(yù)測下，DLSS能夠結(jié)合前一幀的高分辨輸出畫面，實現(xiàn)逐幀的畫質(zhì)和物體追蹤，這樣能夠保證游戲畫面動態(tài)渲染的穩(wěn)定性，并最大可能地接近原生分辨率的輸出畫質(zhì)，減少可能存在的因DLSS分辨率AI補(bǔ)充帶來的殘缺、花屏或偽影等現(xiàn)象。

在這個過程中，DLSS機(jī)制會不斷訪問高分辨率的前一幀，在運(yùn)動矢量檢測下不斷追蹤每一個像素，并且能夠在不同的游戲幀中對同一像素進(jìn)行多次采樣對比（時間超級采樣）。分辨率越高，可供采樣的像素點(diǎn)也就越多，分辨率越低，可供采樣的像素點(diǎn)也就越少。所以在更高的分辨率下開啟DLSS，對游戲畫質(zhì)的影響就越小，甚至?xí)仍嬞|(zhì)更加銳利豐富。因為在多重超級采樣的機(jī)制下，DLSS針對幾乎每一個像素點(diǎn)都進(jìn)行了反復(fù)的推敲優(yōu)化，能夠提供比相比傳統(tǒng)的銳化、抗鋸齒設(shè)置解決方案更豐富的畫面細(xì)節(jié)展現(xiàn)和更光滑的物體邊緣處理。另外與傳統(tǒng)的抗鋸齒技術(shù)更注重邊緣的鋸齒效果不同的是，DLSS可以對全屏畫面的像素做采樣，在非物體邊緣的細(xì)節(jié)也會得到極大的增強(qiáng)，這也是同很多銳化技術(shù)、抗鋸齒技術(shù)不同的地方。

最后則是DLSS特別的黑科技——基于AI大數(shù)據(jù)的16K分辨率圖像模型訓(xùn)練。這一訓(xùn)練是通過NVIDIA放置在云端服務(wù)器上的超級計算機(jī)實現(xiàn)的，并通過RTX GPU中的TensorCore進(jìn)行實時的AI預(yù)測高性能處理。這個在超級計算機(jī)上訓(xùn)練好的模型，可以讓DLSS算法學(xué)會以更高的圖像精確度來預(yù)測補(bǔ)足輸出高分辨率的游戲畫面，并且隨著訓(xùn)練的持續(xù)，這個算法模型會迭代得越來越完美。簡單地理解，我們可以認(rèn)為NVIDIA在云端有一臺超級計算機(jī)，這臺超級計算機(jī)會對比低分辨率圖片和原生16K標(biāo)準(zhǔn)圖片的差異，不斷的訓(xùn)練生成一個基于AI的“腦補(bǔ)”像素模型算法。而這個訓(xùn)練好的模型會隨著驅(qū)動更新下載到用戶的電腦上。而用戶的RTXGPU在執(zhí)行支持DLSS的游戲時，就會調(diào)用這個已經(jīng)訓(xùn)練好的AI模型，利用Tensor Core加速對每一幀進(jìn)行速像素填充了。超級計算機(jī)訓(xùn)練的算法模型是會不斷迭代的，隨著訓(xùn)練時間的增加，這個人工智能像素填充模型也會不斷完善愈發(fā)趨于完美。這項技術(shù)也充分體現(xiàn)了，人工智能的魅力所在，它可以在不需人工干預(yù)的情況下，就利用海量的數(shù)據(jù)進(jìn)行自我迭代，最終不斷優(yōu)化算法模型。玩家可以看到在DLSS誕生以后的這兩年時間內(nèi)，其實DLSS的實際效果有了翻天覆地的變化，這—方面得益于DLSS實現(xiàn)方法的進(jìn)步，另一方面人工智能也是功不可沒。這種人工智能的算法模型，也在維度上完全超越了傳統(tǒng)的人工編程的縮放、銳化算法。這也是NVIDIA在人工智能領(lǐng)域不斷探索推進(jìn)以后用于反哺自家游戲的一個典型黑科技。而對于傳統(tǒng)的圖形渲染行業(yè)而言，如果沒有人工智能的加持，是很難通過人工編程算法來實現(xiàn)類似效果的，一方面沒有大規(guī)模訓(xùn)練的AI模型，另一方面用戶終端也沒有能為AI預(yù)測計算加速的專用硬件核心。NVIDIA DLSS通過這種基于超級計算機(jī)和AI核心的持續(xù)性訓(xùn)練，現(xiàn)在DLSS已經(jīng)可以學(xué)習(xí)如何處理從火焰效果、煙霧效果到粒子效果的各種全新內(nèi)容。而且必須要提的是，DLSS這種基于AI核心和AI算法的功能，在用戶終端上由于有Tensor Core的AI運(yùn)算加速加持，在速度上已經(jīng)將“手動”固定編解碼計算的非AI處理方式（如之前常見的游戲畫質(zhì)銳化或分辨率縮放功能）遠(yuǎn)遠(yuǎn)地拋在了身后。在RTX GPU中可以高達(dá)285TFLOPS的Tensor Core Ali+算性能下，開啟DLSS對GPU核心的負(fù)擔(dān)幾乎沒有額外增加，DLSS也能夠與3D游戲的正常渲染輸出幾乎同步同時地實時進(jìn)行。

以AL增強(qiáng)細(xì)節(jié)，DLSSVs，傳統(tǒng)圖像銳化與分辨率縮放

其實，在DLSS出現(xiàn)之前，業(yè)內(nèi)也已經(jīng)出現(xiàn)過多種與分辨率縮放及圖像蛻化解決方案相關(guān)的技術(shù)或功能。比如點(diǎn)陣優(yōu)化（Point upscale）.雙線性優(yōu)化（Bilinear upscale）等，甚至NVIDIA自己也開發(fā)了一個稱為NIS的圖像銳化與分辨率縮放的解決方案。但就這些方案來說，在最終的輸出圖像質(zhì)量上，跟DLSS相比都還有比較大的差距。為什么？我們以NVIDIANIS（NVIDIA圖像銳化）來看看。

傳統(tǒng)的分辨率增強(qiáng)銳化技術(shù)，比如NIS，幾乎都是通過平衡相鄰像素來提高圖像的分辨率，然后再通過著色器以自適應(yīng)銳化的方法來增強(qiáng)圖像中物體的邊緣質(zhì)量。這種圖像銳化處理的方式與DLSS在原理上有著比較大的本質(zhì)差別，不支持AI和沒有基于超級計算機(jī)的模型訓(xùn)練是二者之間的核心差距。對NIS或其他傳統(tǒng)增強(qiáng)方式來說，它們基本只會使用當(dāng)前的低分辨率圖像信息作為輸入幀，沒有運(yùn)動矢量預(yù)測，沒有高分辨率前幀追溯，更沒有超大分辨率的模型訓(xùn)練。因此這些傳統(tǒng)的增強(qiáng)方式在最終輸出的高分辨率圖像的細(xì)節(jié)上與原生分辨率圖像相比要欠缺很多，而且在幀穩(wěn)定性上也有比較明顯的差距。雖然看似提升了性能，但實際上對游戲畫質(zhì)的影響還是非常明顯的。

最后要提—下，前不久AMD也推出了自家的分辨率縮放渲染輸出技術(shù)FSR。雖然目前還沒有特別多的游戲支持，但由于FSR技術(shù)實現(xiàn)的是對全系顯卡的普遍支持，因此它應(yīng)該是不太依賴于GPU硬件本身，也就是說在AI性能上應(yīng)該是比較欠缺的。當(dāng)然，從目前AMD已經(jīng)公開的部分資料和我們之前的一些測試數(shù)據(jù)來看，F(xiàn)SR更像是在傳統(tǒng)縮放、銳化和抗鋸齒技術(shù)上的算法衍進(jìn)，而沒有涉及AI人工智能相關(guān)技術(shù)，所以它跟DLSS是不是有可比性還不好說，畢竟NVIDIA在幾年前就已經(jīng)推出了NIS。而從NVIDIA的DLSS生態(tài)來看，目前已經(jīng)有超過55款游戲加入了DLSS的游戲矩陣，有10多款主流游戲引擎也對其提供了支持，從目前來看的話，應(yīng)該還是DLSS占據(jù)主動。不過二者之間到底有何差異？各有怎樣的優(yōu)勢與缺點(diǎn)？我們將在后續(xù)的評測中陸續(xù)為大家揭曉。

深度學(xué)習(xí)，DLSS的未來

DLSS，也就是DL+SS，其實是深度學(xué)習(xí)與超級采樣的結(jié)合體。在我們看來，DLSS的最重要的核心還是在于DL，也就是Deep Learning，深度學(xué)習(xí)。雖然此前有些預(yù)置的圖像增強(qiáng)算法在速度上的表現(xiàn)還算不錯，也能夠比較接近AI的效果。但這種算法在某些極端的情況下卻比較容易導(dǎo)致崩潰，從而嚴(yán)重地影響游戲畫質(zhì)表現(xiàn)。就好比汽車的自動駕駛系統(tǒng)，你永遠(yuǎn)不可能預(yù)先編輯出每一個汽車在行駛過程中所可能遇到的場景.因為其中存在著巨量的可變因素，也就是變量。因此，現(xiàn)代自動駕駛解決方案必須要依靠AI人工智能才能有明顯的進(jìn)步。

而游戲這個虛擬世界與自動駕駛類似，依靠事先預(yù)置的編碼解決方案幾乎不可能準(zhǔn)確預(yù)測許多游戲中每個像素的顏色和運(yùn)動軌跡。而DLSS的深度學(xué)習(xí)并不是通過無限條件語句來解決問題，而是從海量的大數(shù)據(jù)、大模型中學(xué)習(xí)算法。DLSS從數(shù)萬甚至數(shù)十萬個渲染精美的圖像中學(xué)習(xí)，在云端超級計算機(jī)中以非常低的幀速率和每像素約64個樣本進(jìn)行離線渲染，然后訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)來識別正確、精致的游戲圖像應(yīng)該是什么樣子。然后這些AI神經(jīng)網(wǎng)絡(luò)從較低分辨率、較低樣本數(shù)的圖像中重建它們。神經(jīng)網(wǎng)絡(luò)整合來自較低分辨率幀的不完整信息，結(jié)合模型訓(xùn)練信息創(chuàng)建最終輸出的平滑、清晰的游戲圖像。因此，DLSS作為NVIDIA的黑科技武器，深度學(xué)習(xí)是它的立足之本，也是其余眾多其他解決方案最本質(zhì)的區(qū)別與性能表現(xiàn)卓越的根本所在。它，才是DLSS的未來所在！