虛擬現實技術中計算機圖形學的應用綜述

齊景仲 方帆 付昊瑩 施璐 顧依然

虛擬現實技術讓人們獲得了一種獨特的方法來增強復雜的三維物體和環境的用戶可視化。虛擬現實是人們通過計算機對復雜數據進行可視化、創造可以操作以及實時交互的環境的重要工具。虛擬現實技術中計算機圖形學的應用與傳統的計算機圖形學相似，但同時也有很多獨立于傳統模式而專門服務于虛擬現實技術的新技術。計算機圖形學在虛擬現實技術中的應用有如下兩種：數字媒體與醫療。數字媒體中主要關注于虛擬現實技術中常用的建模，渲染，圖像輸出技術。而醫療也擁有其獨特的處理內容與展現方法。

一、數字媒體應用

1. CG模型的基本特征

幾何建模技術是計算機中構造幾何形態和計算的技術。它的目的是構建所需要的對象模型，該模型是計算機生成虛擬現實環境中物體的重要基礎。這一技術不僅是虛擬現實技術中的重要基礎，也廣泛應用于機械設計、數控加工、建筑設計等領域。因此，在虛擬現實技術中建立一個虛擬空間時一定要建立一個幾何圖形環境，并用一定的光照模型來描述場景，在假想光源下計算紋理、材質的照明效果。同時，以數字圖像的方式輸出現實的圖形計算結果。[1]

2. 圖像特征提取與分析

圖像特征提取與分析技術不同于傳統的計算機圖形學方向而更多的存在于計算機視覺方向。虛擬現實系統中主要在于應用其圖像識別能力與多維信息的獲取能力得以更好的模擬現實世界的情況。當前有如下兩種常見圖像特征提取方法。

（1）HOG特征：

方向梯度直方圖（Histogram of Oriented Gradient， HOG）特征是計算機視覺技術和計算機圖像處理中一種用來實現物體檢測的特征算子。通過應用了方向梯度直方圖特征的支持向量機（SVM）分類器已經被廣泛地應用于了計算機圖像識別技術中.HOG+SVM進行圖形檢測的方法是法國研究人員Dalal在2005年的CVPR上提出的，而如今雖然有很多檢測算法不斷提出，但基本都是以HOG+SVM的思路為主。[2][3]

（2） LBP特征：

LBP（Local Binary Pattern，局部二值模式）特征算子是一類用來描述圖像局部紋理特征的圖像識別算子。這一算子在圖像識別過程中具有旋轉不變性和灰度不變性的的顯著優點。局部二值特征算子是首先由T. Ojala， M.Pietik？inen， 和D. Harwood 在1994年提出，用于紋理特征提取。而且，提取的特征是圖像的局部的紋理特征；[2][4]

3. 三維建模和重建

從三維模型的圖像重建是虛擬現實系統中計算機圖形學和計算機視覺的重要研究課題。同時基于圖像的三維人臉重建也可以作為其的一個特殊的子問題研究。此技術針對如何處理獲取的的掃描圖像，分析三維空間的位置關系，并充分發揮掃描測量獲取到的全部細節信息有著關鍵作用。[5][11]針對三維模型的重建，國內學者已經提出了各種方法[6]。這些方法實現三維重建是有效可行的。但基于圖像特征的三維重建方法，并不一定能有效地解決一般三維空間位置關系問題中所包含的圖像問題，如故障點問題、障礙物等。

二、醫療應用

虛擬現實體現了用戶沉浸在人工的、完全由計算機生成的環境中的技術，因此與傳統方法相比，虛擬現實系統在醫療領域的應用能更好的還原病人的詳細信息。

近年來，虛擬現雖然在許多工業應用領域得到了廣泛的應用。然而，在醫學領域中只有少數非常專業的VR方法。盡管從磁共振（MR）、X射線（CT）或3D超聲（US）斷層掃描中獲得的醫學圖像具有三維特征，但目前還沒有支持臨床診斷和治療規劃的VR系統。[7]

醫學中唯一的初始對象是灰色值圖像序列。這些灰度值代表從成像設備測量或計算的值，在大多數情況下不能用于自動對象分割和識別。因此，實時體繪制技術和選擇分割的交互方法是虛擬現實中診斷的需要。

另一個不同之處是虛擬物體的必要精度。醫療虛擬物體必須盡可能準確地再現現實。因此，傳統的算法構建的醫療對象的幾何表示有非常多的三角形。網格復雜性帶來的計算復雜度上升會顯著導致在大多數情況下無法接受的精度損失。[11]

當前醫療領域使用的計算機圖形學技術有如下三種：

1. 體繪制技術

傳統3D紋理映射技術相比于基于CPU的體繪制技術，其主要缺點是缺少陰影渲染能力。而基于CPU的體繪制技術，像光線追蹤技術，則很容易產生陰影的圖片，例如醫療領域的很多身體檢查結果。這些灰度閾值表示了光能夠穿透的能力。因此只要結合表面法向量計算和生成的顏色還有依據已知的光源的位置和顏色并使用Phong照明計算模型進行計算的結果便能生成需要的相應圖像。這種技術需要找到合適的分割閾值并進行體繪制才能達到作用。

2. 細分技術

細分技術為另一種常用的圖像分割技術，該策略非常適合在虛擬現實中使用。它包括三種不同類型的方法：1.自動分割算法；2.灰度值控制增長算法3.器官的交互定位和自動裝配模型。

如果底層算法足夠健壯并且能夠有效地計算，那么完全自動分割將是一種理想的技術。但這些算法只存在于一些非常特定的問題中。在虛擬現實中，唯一需要的交互就是從算法池中選擇相應的方法。

3. 表面重建和渲染技術

在虛擬現實的應用中，應用表面重建與渲染技術可以通過獲取有限的圖像表面數據進行三維圖像的重建。其優勢主要在于以下三點：

●大幅減少了要渲染的多邊形數量，而不會在重要的可視截屏區域造成質量損失；

●高效執行基于CPU的實時可見性測試（剔除、剪切）；

●負載管理以平衡CPU和圖形子系統的計算壓力。

圖像表面數據是在表面簡化過程中獲取的的。它可以與任何基于對表面部分的簡化算法相結合生成。基本概念是將應用于對象的簡化步驟存儲在分層數據結構中。這一知識使繪制近似繪制過程中重現物體細節成為可能。

參考文獻：

[1] Middleton， Kellie K.， et al. "Improved nondominant hand performance on a laparoscopic virtual reality simulator after playing the Nintendo Wii." Surgical endoscopy 27.11 （2013）： 4224-4231.

[2]Pengkun Wu “Analysis on the current condition of virtual reality and computer graphics and the applications on the digital media interaction” Inventive Computation Technologies （ICICT）， International Conference on

[3]Carlo Tomasi “Histograms of Oriented Gradients”

[4]Di Huang， Caifeng Shan， Mohsen Ar debilian， Yunhong Wang， and Liming Chen “Local Binary Patterns and Its Application to Facial Image Analysis： A Survey”

[5] Wang， Jingyan， et al. "Image tag completion by local learning." Advances in Neural Networks–ISNN 2015. Springer International Publishing， 2015. 232-239.

[6] Chen， Bolun， Ling Chen， and Yixin Chen. "Efficient ant colony optimization for image feature selection." Signal processing 93.6 （2013）： 1566-1576.

[7]M. Haubner ； C. Krapichler ； A. Losch ； K.-H. Englmeier ； W. Van Eimeren “Virtual reality in medicine-computer graphics and interaction techniques” IEEE Transactions on Information Technology in Biomedicine （ Volume： 1， Issue： 1， March 1997 ）

[8]wiki "https：//en.wikipedia.org/wiki/Volume_rendering"

[9]Dilpreet Kaur， Yadwinder Kaur “Various Image Segmentation Techniques： A Review”

[10]Weber， Daniel， et al. "Efficient gpu data structures and methods to solve sparse linear systems in dynamics applications." Computer Graphics Forum. Vol. 32. No. 1. Blackwell Publishing Ltd， 2013.

[11]Shubhankar Ranade； Mingshu Zhang； Mohammed Al-Sada； Jaryd Urbani； Tatsuo Nakajima “Clash tanks： An investigation of virtual and augmented reality gaming experience “2017 Tenth International Conference on Mobile Computing and Ubiquitous Network （ICMU）

北京工業大學“國家級大學生創新創業訓練計劃”資助，項目編號：GJDC-2018-01-14