圖像渲染技術在虛擬現實頭盔中的應用和發展

邱振青

摘要：圖像渲染技術是當今熱門的虛擬現實頭盔設備中的核心技術，本文從虛擬現實頭盔設備的特點出發，分析了圖像渲染技術在其中的應用以及由此發展而出的特有的渲染算法：異步時間扭曲算法、眼球追蹤與焦點渲染技術等，并對圖像渲染技術與人工智能以及5G通訊技術的結合在未來虛擬現實設備中的應用進行了展望。

關鍵詞：圖像渲染;虛擬現實;焦點渲染;人工智能;5G

中圖分類號：TP391.9 文獻標識碼：A 文章編號：1007-9416（2019）03-0076-01

什么是渲染？渲染是通過計算機程序從2D或3D模型（或者可以統稱為場景文件的模型）生成圖像的自動過程。承擔這個過程的主要硬件載體是圖形處理器（GPU，Graphics Processing Unit）。從計算機的快速發展到智能手機的普及，GPU及圖像渲染技術的重要性日益突出，當虛擬現實頭盔（HMD，Head Mounted Device）這種產品形態出現后，它的核心地位更加突出。虛擬現實頭盔追求沉浸式體驗，其本質就是要通過用戶的感知（主要是視覺）蒙蔽用戶的大腦，使用戶能夠沉浸在一個虛擬的世界中。圖像渲染技術在早期滿足虛擬現實頭盔的基本顯示功能之后，經過了不斷的發展，產生了特有的算法，并在不斷地和新技術結合，推動虛擬現實頭盔的沉浸感越來越強。

1 早期虛擬現實頭盔的圖像渲染技術

1.1 左右3D渲染

早期的虛擬現實頭盔顯示系統大多脫胎于智能手機系統，需要解決的第一個問題就是左右眼分別顯示。一開始通過將整個渲染管線[1]運行兩遍，形成左右兩個顯示圖像;之后通過不斷地改進，考慮虛擬現實頭盔左右眼圖像的高度一致性，在考慮瞳距因素的情況下，逐漸優化到只運行一次渲染管線的情況下，也能得到所要的顯示效果。

1.2 反畸變和反色散

畸變和色散是虛擬現實頭盔的光學設計中因為采用了兩個凸透鏡所引入的問題。根據Brown模型[2]，通過提前對圖像進行桶形處理，可以達到反畸變的效果。同時，對不同波長的光進行針對性的桶形矯正，就可以解決色散的問題。GPU及圖像渲染技術在其中承擔了重要工作。

2 當今主要的虛擬現實頭盔的圖像渲染技術

在滿足了基本需求之后，眩暈問題開始突顯，這主要由頭部動作傳導到顯示的時間相對較長有關。為了達到低延時的效果，就必須提高屏幕刷新率，這就壓縮了渲染的時間，但是GPU的能力畢竟有限，有時它來不及把一幀渲染好，顯示器就只能顯示上一幀數據，這反而加大了延時，異步時間扭曲算法在一定程度上緩解了這個問題。

2.1 異步時間扭曲算法

顯示工作正常時渲染線程會在Vsync信號到來之前完成幀的渲染，和GPU配合把一幀數據送到顯示模塊去顯示。異步時間扭曲算法要求創建一個異步線程，當發現正常渲染線程未能在某個設定的節點前完成所需的工作，即該幀大概率無法在Vsync到來之前渲染好時，該線程搶占GPU，并將前一幀圖像加入頭動信息進行重新投影，送顯示模塊顯示，這就保證了刷新率的穩定性，達到了穩定降低延時的效果。

2.2 單Buffer渲染技術

在現有的顯示技術中，雙Buffer及多Buffer渲染是主流，這可以很好地預防屏幕撕裂現象的發生，為渲染爭取了較多的時間。但是在虛擬現實頭盔設備中，這會導致頭部動作信息傳導到顯示的延遲，反而有害，所以使用單Buffer渲染技術，數據直接往顯示模塊發送成為好的選擇。同時，通過其他方法比如提高GPU性能，或者根據顯示模塊的特性分塊顯示，緩解和處理可能出現的屏幕撕裂。

2.3 眼球追蹤與焦點渲染技術

現有虛擬現實頭盔均采用比較高的分辨率，同時屏幕刷新率也在不斷提高，導致GPU的負擔急劇提升，焦點渲染技術結合眼球追蹤可以僅對用戶關注的區域進行高分辨率渲染，而對其他區域模糊化處理，在能夠獲得基本一致的顯示要求的情況下，卻極大地降低了GPU的負擔。研究表明，人眼對正視方向5～10度范圍內的全信息敏感，對5～30度范圍內的形狀敏感，對30～60度范圍內的顏色敏感，對62～94度范圍內的動作敏感。這種差異性為根據眼球追蹤進行焦點渲染提供了很大的空間。同時，很多GPU本身就有分塊渲染的加速功能，所以GPU可以很好地進行焦點渲染。這兩項技術的結合，對虛擬現實頭盔未來的發展至關重要。

3 未來可能的虛擬現實頭盔的圖像渲染技術

虛擬現實頭盔的發展方向是輕薄且高度沉浸。5G通訊技術的發展將使得分離渲染成為可能，繁重的3D內容渲染在云端完成，頭控等動作信息渲染在虛擬現實頭盔端完成，通過5G通訊銜接，這會極大地減少虛擬現實頭盔對計算能力的要求，降低功耗，減輕重量。同時，虛擬現實頭盔的特點也會讓5G通訊技術的高帶寬、低時延特性得到充分發揮。

另外，虛擬現實頭盔對低時延的不斷追求，正在促使標準的GPU渲染管線流程不斷縮短，未來隨著人工智能技術的不斷進步，特別定制的且可變的、低時延、高效的渲染管線也可能成為現實。

4 結語

綜上所述，本文分析了圖像渲染技術在虛擬現實頭盔中的應用以及由此發展而出的特有的渲染算法，并展望了未來可能的發展方向。本文研究時間比較短，還存在著一些不足， 希望相關的研究能夠對圖像渲染技術在虛擬現實頭盔中的發展有所幫助。

參考文獻

[1] Dave Shreiner，Graham Sellers，John Kessenich等著.OpenGL編程指南[M].機械工業出版社，2016.

[2] Brown，Duane C.Decentering distortion of lenses[J].Photogrammetric Engineering，1966，32（3）：444-462.

The Use and Development of Graphics Rendering Technology

in Virtual Reality Head Mounted Devices

QIU Zhen-qing

（Shenzhen Grandsun Electronic Co.， Ltd. Nanjing Branch， Nanjing Jiangsu? 210012）

Abstract：Graphics rendering technology is the core technology in today's popular virtual reality head mounted devices. This paper analyzes the use of Graphics rendering technology and the unique rendering algorithm developed from the characteristics of virtual reality head mounted equipment： asynchronous Time warping algorithm， eye tracking and foveated rendering technology， and the combination of Graphics rendering technology with artificial intelligence and 5G communication technology in future virtual reality devices are prospected.

Key words：graphics rendering;virtual reality;foveated rendering;artificial intelligence;5G