在推出RTX 20系列顯卡時,NVIDIA就將用于AI計算的Tensor Core加入了消費級顯卡,并提出了一系列基于AI的非游戲內的應用場景。前不久發布RTX 30系列顯卡時,NVIDIA正式推出了針對直播應用的NVIDIA Broadcast應用,能夠充分利用RTX顯卡優秀的AI計算能力,為時下流行的直播用戶提供整套直播輔助解決方案。那么它到底有哪些神奇之處呢?
對于個人主播和小型工作室來說,聲音和畫面的處理是最迫切需要解決的兩個方面,傳統的降噪麥克風和綠幕往往是大家必不可少的裝備,但這些東西不但價格昂貴,同時在擺放和挪動上也有些麻煩。NVIDIA Broadcast的出現則可以輕松解決主播在這方面的困擾,它可以捕獲玩家的攝像頭、麥克風和揚聲器的輸入(輸出)進行AI人工智能處理,并將自身設置為一個虛擬設備,供OBS等直播串流軟件調用。轉換為AI智能設備后,其可以通過RTX顯卡進行AI計算,添加如背景消除、降噪等強大功能,讓玩家搭建直播工作室的過程變得更加輕松。
除此之外,NVIDIA RTX30系列還搭載了新一代的NVENC高性能視頻編碼器,可以完成H.264和H.265兩種格式的編碼,主流直播串流軟件已經提供了對其的支持。在該技術的加持下,可以極大地降低編碼時處理器的占用,釋放更多處理器性能供游戲本身使用,從而帶來更好的游戲直播體驗。
雖然NVIDIA Broadcast提供的部分功能,在某些直播串流軟件中也以插件的方式提供給玩家,但這些軟件提供的解決方案通常還需要不菲的費用才能開啟。而NVIDIA Broadcast則是免費提供給NVIDIA RTX系列顯卡玩家使用的,玩家只需要在NVIDIA官網下載安裝即可免費使用。
NVIDIA Broadcast的界面非常簡潔明了,“麥克風”“揚聲器”“相機”三個選項卡頁面分別對應聲音和畫面兩部分的功能。相機界面下,選擇相機源之后,可以調整輸出的畫面分辨率和幀率,下面的效果選項欄中,可以選擇想要開啟的背景功能。當前的NVIDIA Broadcast版本中,為玩家提供了“背景模糊”、“背景更換”、“背景刪除”和“自動聚焦”四種效果。

背景刪除功能可以很好地做到和使用綠幕一樣的效果

使用背景更換功能還能在刪除背景后使用自定義的圖片或視頻

開啟背景模糊后,可以看到背景虛化效果比較自然
背景模糊功能可以識別當前主播的人像主體,并將背景進行模糊處理,從而實現突出主體,減少雜亂背景對直播的影響,或者在縱深較低的直播環境中模擬出更強烈的背景虛化效果,實現更好的直播體驗。而“背景更換”、“背景刪除”則可以模擬以前需要綠幕才能完成的摳像效果,在開啟這兩種效果后,NVIDIA Broadcast可以利用RTX系列顯卡的AI計算能力和AI算法,將主播從雜亂的背景中摳出主體。而背景更換功能在實現刪除背景的同時,還能替換上玩家需要的背景圖片(或視頻),從而實現沉浸式的直播效果。“自動聚焦”開啟這個功能后,主播在鏡頭前一定范圍內移動時,直播畫面能夠進行跟隨,保證主播始終處于畫面焦點,不會離開畫面。
聲音方面,NVIDIA Broadcast不但可以針對麥克風拾音進行噪音消除,同時還能對耳機(揚聲器)播音進行噪音消除,從而保證主播在直播時無論是帶給觀眾的聽覺效果還是自身和隊友交流時都有清晰的聲音表現。

使用NVIDIA NVENC硬件編碼占用更低幀速更高
NVIDIA RTX 30系列顯卡搭載了新一代高性能NVIDIA NVENC視頻編碼器。大家常見的斗魚、虎牙和bilibili都能夠支持NVENC硬件編碼,應用最廣泛的Open Broadcaster Software(OBS)也提供了對NVENC的支持,可以說目前你想播的主流平臺,都能用上NVENC了。
在直播視頻推流時,主播可以開啟NVENC硬件編碼,從而大幅降低編碼操作對CPU資源的占用,反應在實際體驗方面就是相對CPU編碼模式來講系統響應變快、游戲幀率更高了。從使用NVIDIA RTX 3080直播《絕地求生》實測可以看到,在OBS中使用CPU x264編碼器編碼時,游戲的幀速為169fps,處理器占用為41%,而改為使用NVENC硬件編碼時,處理器占用降至了25%,同時幀速漲至了194fps。由于我們測試使用的是Intel酷睿i9 10900K這樣的旗艦處理器,如果使用中低端處理器和運行一些對CPU要求更高的游戲,這個提升幅度還會更大。