一種面向VR多投影環幕設備的可視化結果顯示方法

李 鑫 姜忠鼎

(復旦大學上海市數據科學重點實驗室 上海 201203) (復旦大學軟件學院 上海 201203)

0 引 言

近年來，具有研究意義的數據呈爆炸式增長，涵蓋了社會科學、生命科學、自然科學等領域。解析大量數據的一種方法是數據可視化，用直觀的幾何圖像展示數據間的聯系和意義。數據的可視化需要經過數據的處理、過濾映射等過程，最后利用特定的程序輸出可視化結果，這些結果可以是完整的渲染畫面，也可以是2D或3D的幾何模型。對于復雜數據可視化結果顯示的應用場景，顯示設備需要提供高分辨率、視角廣闊且支持立體顯示的沉浸式顯示環境。然而傳統的顯示設備，例如標準LCD屏幕，已經無法滿足上述需求。為此學術界提出了沉浸式可視分析課題，該課題注重如何利用新興用戶界面技術來構造沉浸式的數據分析工具[1]。虛擬現實技術近年來發展迅猛，虛擬現實設備提供的沉浸式體驗可以良好地應對沉浸式可視化結果顯示的應用情景。虛擬現實設備可以分為投影式虛擬現實設備和頭戴式虛擬現實設備。投影式虛擬現實設備利用一個或多個投影機將畫面顯示在投影幕上。投影幕根據表面形狀還可以分為環幕、折幕、半球幕、球幕等。相比于頭戴式虛擬現實設備，投影式設備支持多人同時使用系統，適用于參觀、展示等情景。

目前學術界提出了不少沉浸式可視化系統，例如Hanula等[2]設計的基于CAVE2[3]顯示設備的Carven Halos天文數據沉浸式可視化系統以及EVL實驗室開發的基于拼接屏支持顯示Web可視化應用和遠程桌面的可視化系統SAGE[4]和SAGE2[5]。然而拼接屏的顯示環境會存在拼縫問題，損害了沉浸式體驗，虛擬現實投影式顯示設備并不存在上述問題。多投影環幕顯示設備可以呈現視角廣闊的畫面，并利用偏振光投射左右眼畫面提供立體顯示支持。在多投影環幕環境中，系統的顯示畫面需要經過一系列幾何、投影校正等過程才能保證顯示結果的正確性。在面對可視化結果顯示需求時，系統需要支持兼容呈現信息密度較高的2D可視化結果畫面和3D數據可視化模型。然而傳統的渲染流程和處理方法將2D畫面按照3D物體的處理流程進行處理，會出現嚴重的2D畫面模糊等問題。針對上述問題和研究背景，本文提出了一個面向VR多投影環幕設備的可視化結果顯示方法。該方法詳細描述了在多投影環幕環境中如何清楚地顯示2D與3D可視化結果，并如何支持立體顯示和用戶交互。利用本文方法實現的系統實例如圖1所示，該系統基于Unity[6]游戲引擎實現。

圖1 VR多投影環幕可視化系統實例

1 方法概述

1.1 VR多投影環幕顯示環境

VR多投影環幕顯示設備由若干臺高清投影儀和120度投影環幕構成。高清投影儀由若干臺計算機節點驅動，節點運行特定的應用程序并將畫面輸出至投影儀，并最終呈現在投影環幕中。用戶可以借助偏振光眼鏡查看立體影像，并利用虛擬現實手柄與系統進行交互。

1.2 可視化結果獲取

可視化結果指的是由各種可視化應用程序利用不同的可視化方法將原始數據轉換得到的幾何圖像或模型。為了保證通用性，可視化系統需要支持呈現Web可視化應用、一般桌面應用以及3D數據可視化模型。對于Web應用，可以利用系統內嵌瀏覽器內核的方法，將Web應用的解析和渲染交給內核處理，然后利用API接口獲取畫面數據。對于一般的桌面應用，可以直接開辟獨立的進程在后臺運行該應用，然后利用底層圖形接口獲取窗口畫面數據。對于3D數據的可視化模型，可以直接從網絡上下載模型文件，并部署到本地進行解析渲染。然而，本地運行可視化應用程序的方式會占用額外的系統(CPU、GPU、內存)資源，所以將可視化應用程序的運行和渲染任務交給外部節點執行，然后通過網絡獲取可視化結果畫面的方法更為可取，獲取示意如圖2所示。

圖2 可視化結果獲取示意

應用程序執行隨著時間推移會生成流式的可視化結果畫面，這些畫面需要經過一定的分塊和壓縮處理以面對遠程傳輸的帶寬壓力。這些畫面數據即為像素流數據。用戶產生的交互數據也同樣經過網絡傳輸至遠程節點并應用至可視化應用程序中。對于3D數據可視化模型文件，其解析過程相比于運行額外的可視化應用程序而言耗時較少，所以為了保證完整的三維空間信息和立體顯示效果，我們認為3D模型適合采用本地部署進行渲染的模式。

1.3 可視化結果顯示

我們獲取的可視化結果主要有兩種類型：一種是2D的可視化結果畫面；一種是3D的數據模型。實際的使用情景要求上述的可視化結果需要同時呈現，如圖3所示。圖中的3D模型為陸家嘴金融中心城市數據模型，同時呈現的還有與該模型地理位置相關聯的2D百度地圖可視化應用和兩個金融數據可視化應用。

圖3 2D可視化畫面與3D模型兼容顯示示意

在多投影顯示環境中，虛擬相機采樣的平面圖像在曲面投影幕上顯示會出現變形問題，所以需要進行幾何校正。由于多個投影機的投影畫面有重疊區域，還需要進行投影的顏色校正。復旦大學交互式圖形學實驗室對此類問題有大量的研究，并提出了較為完整的渲染流程和處理方法來實現多投影環幕環境中正確、立體地顯示虛擬場景中的3D物體[7-8]。然而上述方法沒有對2D畫面的渲染和顯示進行單獨處理，只是將2D畫面依附于3D空間的曲面畫布進行渲染。對于信息密集的2D可視化結果畫面，進行上述復雜的采樣、校正步驟會對2D畫面的清晰度造成嚴重的損失，使得用戶難以分辨畫面中的信息。所以本文基于先前的研究工作，結合可視化結果顯示的需求提出了在多投影環境中兼容2D與3D顯示的渲染流程，在該渲染流程中對2D畫面進行單獨的渲染處理。為了保證可視化結果的立體顯示，可以使3D可視化應用輸出左右眼畫面，然后通過設置紋理的UV坐標實現可視化結果的立體顯示。對于非3D的可視化應用程序，其結果畫面可以通過將畫布面板凸現至用戶眼前來實現沉浸感。例如在科幻電影中，主人公將呈現2D圖像的3D虛擬操縱面板“召喚”到眼前。該操作可以令用戶更加清晰地查看可視化內容，并與之交互，如圖1所示，用戶將左上角的可視化應用“召喚”至眼前進行操作。該功能的實現需要經過妥善的處理和計算。同時，數據可視化除了顯示之外的另一項核心要素是用戶交互[9]。在新的渲染流程下，會面臨顯示和交互邏輯分離造成的交互坐標轉換問題。

2 兼容2D與3D顯示的渲染流程

在多投影顯示環境中，傳統的渲染流程和處理方法沒有特別地對2D畫面進行單獨處理，只能將2D畫面依托于3D畫布進行渲染。然而對3D物體的多次虛擬相機采樣和校正過程損失了畫面本身的清晰度。為了解決這個問題，我們在先前的研究基礎上提出了新的在多投影環幕中兼容2D與3D顯示的可視化結果渲染流程，如圖4所示。

圖4 兼容2D與3D顯示的渲染流程

在該渲染流程中，我們對2D畫面與3D物體渲染進行獨立處理。2D畫面渲染不再經過多個代理幾何對應相機的采樣、變形與融合的過程。2D可視化畫面跳過的操作步驟并不會影響2D內容本身的顯示效果。2D可視化結果畫面獲取之后，將整合后的紋理依附于2D畫布進行渲染。仍然使用畫布的渲染策略是因為存在可視化結果畫面添加額外UI元素的需求。對于3D物體，我們根據虛擬屏幕將完整的虛擬空間劃分為兩部分，離虛擬用戶位置較近的近用戶空間以及相對的遠用戶空間。虛擬屏幕對應著2D畫布的空間位置，不同空間內的3D物體將被渲染到不同的紋理上。將不同空間的3D畫面與2D可視化結果畫面融合時，為了確保正確的遮擋關系，按照遠用戶空間3D畫面、2D可視化結果畫面、近用戶空間3D畫面的順序進行Blending操作。投影校正的目的是解決投影重疊區域問題，該處理步驟不能省略，所以把2D內容的紋理融合步驟安排于投影校正階段前，幾何校正變形后。這樣的流程可以有效解決2D畫面渲染模糊問題，同時不影響3D物體本身的渲染。

對于3D物體類型的劃分，可以通過程序進行標記，在3D相機進行采樣時剔除掉不必要的物體。而物體的標記過程可以由開發者自行決定方法，例如簡單的基于距離進行判斷，或者利用Raycast方法求得該物體在虛擬屏幕前方還是后方，本文不再贅述。

3 可視化結果畫面的立體顯示方法

顯示所需的可視化結果數據是2D的圖像。如果可視化應用本身是3D應用，這樣的顯示方式會影響到數據的視覺表達，所以需要解決立體呈現的問題。對于本身具有3D信息的可視化應用程序，解決方法是令可視化應用輸出左右眼畫面，在呈現時通過紋理UV坐標設置左右眼的顯示區域，再利用偏振光眼鏡進行查看。在3D可視化應用程序中設置兩個虛擬相機，確定左右眼的零視差表面，然后根據零視差表面與相機的位置確定視錐體近平面和遠平面的四條邊的位置，如圖5所示。

圖5 左右眼立體機制示意

零視差表面的左右眼成像完全一致，處于零視差表面的物體給用戶的空間距離感和真實世界的投影環幕距離一致。所以在零視差表面前的虛擬物體，成像后給用戶脫離真實世界屏幕靠近了自己的感覺(進入了近用戶空間)，而零視差表面后的物體，給用戶脫離了真實世界屏幕遠離了自己的感覺(進入到遠用戶空間)。左右眼相機通過投影矩陣完成配置，經典的投影矩陣Mp的計算如下：

(1)

式中：far、near分別代表著視錐體遠、近平面距離虛擬相機的距離；left、right、top、bottom分別代表著相機近平面的左、右、上、下四條邊相對于虛擬相機中心在近平面空間的對應位置。

對于非3D的可視化應用程序，其結果畫面可以通過將畫布面板凸現至用戶眼前來實現沉浸感。但在本文提出的渲染流程中，2D畫面不再按照3D物體進行渲染和處理，不具備額外的空間信息，無法進行上述功能的實現。為了解決這個問題，我們需要通過模擬計算，在2D畫布中模擬3D空間的凸現效果。該模擬過程的關鍵點是求出兩個數據：一個是由于透視關系造成的物體縮放比例；二是由于左右眼相機的空間位置不同造成的成像位置偏移。所以本方法的核心目的是求得合適的縮放比例R以及偏移量大小Doffset。縮放比的計算方法是：取模擬呈現平面的任意兩點，計算兩點在非凸現位置和凸現位置的坐標，得出在不同位置上的兩點距離，然后求得比值即可。同理計算偏移量取模擬呈現平面的任意一點計算不同凸現位置上的坐標差值即可。進行上述運算我們需要先確定模擬呈現面板在凸現位置與非凸現位置的世界空間坐標Pworld，凸現位置坐標通過非凸現坐標向虛擬相機平移一定的值得到。利用式(2)轉換到剪裁空間得到Pclip，然后利用式(3)-式(4)轉換到屏幕空間得到Pscreen，其中S代表屏幕空間的像素個數。

Pclip=Mp·Mview·Pworld

(2)

(3)

(4)

對于模擬呈現面板對應的矩形ABCD，縮放比例可以通過一條邊AB在屏幕空間下非凸現位置的長度LAB除以凸現位置長度LA′B′得到，如式(5)所示：

(5)

(6)

求得縮放比例和偏移量之后，就可以在程序中通過頂點著色器修改可視化應用面板的縮放值以及頂點位置偏移量實現凸現效果。

4 交互坐標計算

可視化的兩大核心要素是顯示與交互。2D可視化應用畫面通過2D畫布進行渲染，然后將結果和3D畫面一起最終呈現在環幕表面上。由于交互邏輯表面是2D的平面，所以會出現交互邏輯與顯示分離的問題，如圖6所示。圖中以AD方向為x軸方向，AB為y軸方向，OM為z軸方向。

圖6 邏輯與顯示分離的坐標轉換示意

對于生成環幕的虛擬碰撞體，實質上是生成對應的環幕虛擬3D網格數據。首先構建一個矩形網格ABCD，x軸方向長度(AD或BC)對應真實世界中環幕的弧長，y軸方向長度對應環幕的高度。然后分別在AD、BC上均勻分布若干個點Pi，數量越多代表剖分越細致，還原度越高。再對點Pi的x分量和z分量進行修正，利用弦長等關系計算每個分片對應點在弧上應該出現的位置。設角θ是某個分片端點對應半徑與圓弧中心點對應半徑的夾角，R為環幕圓柱對應的底面半徑，Pi的x坐標分量和z坐標分量可以由式(7)-式(8)得出。θ可以通過求得當前分割面片的排序位置與總個數的比值，并與整個環幕對應圓弧的圓心角α相乘得到。

Pix=sinθ·R

(7)

(8)

(9)

Pplaney=PHy

(10)

5 實驗結果與分析

5.1 系統實例

使用本文方法在多投影環幕顯示設備上實現了可視化系統實例。系統基于Unity游戲引擎實現，支持立體呈現Web、一般桌面程序和3D數據模型，并支持用戶與其進行正確的交互。

5.2 實驗環境

可視化系統實例的運行節點采用Intel i7 4790處理器，3.6 GHz，顯卡NVIDIA GTX1060 3 GB，內存16 GB，Windows 7操作系統。運行可視化應用程序的多個遠程服務器采用Intel i7 6700 2.6 GHz，顯卡NVIDIA GTX1060 3 GB，內存16 GB，Windows 10系統。所有節點通過內部交換機相連。

5.3 渲染效果對比實驗

本實驗分別利用傳統的3D畫布渲染流程和兼容2D與3D顯示的渲染流程對2D可視化結果畫面進行渲染，可視化應用的內容分別為純文本文字、純圖像，以及文本與圖像皆有的真實可視化應用程序百度地圖。實驗將截取最終的系統渲染圖像并進行對比。純文本對比如圖7(a)所示，純圖像對比如圖7(b)所示，文本圖像均有的對比如圖7(c)所示。可以看出，本文提出的渲染流程有效提高了2D可視化結果畫面的清晰度，相比于傳統方法，用戶可以更清楚地分辨畫面中的信息。

(a) 純文本對比效果

(b) 純圖像對比效果

(c) 文本與圖像均具備的可視化結果畫面對比效果圖7 傳統3D畫布渲染流程(左列)與本文兼容 2D與3D顯示的渲染流程(右列)顯示效果對比

為了定量分析圖像清晰度的效果，實驗采用了三種經典的無參考圖像質量測試方法，分別是Brenner梯度方法[10]、Tenengrad方法[11]以及SMD灰度方差[12]方法。所有測試圖像的分辨率均為512×512。對于Brenner方法，圖像清晰度C(g)計算如式(11)所示：

(11)

式中：g(x,y)代表圖像在(x、y)點處像素的灰度值，灰度值取值為0～1，C值越大代表圖像越清晰。測試結果如圖8所示。

圖8 Brenner方法測量的清晰度對比

對于Tenengrad方法，清晰度C(S)的計算如式(12)所示：

(12)

式中：Sx(x,y)和Sy(x,y)分別代表在(x,y)至(x+2,y+2)處的像素灰度值與Sobel水平方向算子ix和豎直方向算子iy的卷積。其中用于累加的卷積結果閾值取0，測試結果如圖9所示。

圖9 Tenengrad方法測量的清晰度對比

對于SMD方法，清晰度C(g)計算如式(13)所示：

|g(x,y)-g(x+1,y)|)

(13)

g(x,y)定義與Brenner方法一致。結果如圖10所示。

圖10 SMD灰度方差方法測量的清晰度對比

從上述數據可以看出，定量測量的圖像清晰度與主觀清晰度感覺一致，本文提出的渲染流程相比于傳統的方法有效提升了顯示圖像的清晰度。同時對于信息密度較高的文本信息，清晰度提升的比率更為明顯。特別地，由于清晰度的值隨著像素間的變化程度不同而改變，所以實際測量的純文本清晰度值為表中數值的10倍。為了使圖表更加直觀而做了數據縮小處理，但是并不影響分析的結果。

5.4 立體顯示效果實驗

實驗主要目的是測試第3節中非3D可視化應用的凸顯立體效果，如圖11所示。可以看出，凸顯狀態符合透視關系以及左右眼的偏移規律，可以呈現良好的立體效果。

(a) 未凸顯狀態

(b) 凸顯左眼畫面 (c) 凸顯右眼畫面圖11 凸顯立體效果示意

5.5 交互坐標正確性實驗

實驗主要目的在于驗證本文第4節提出的交互坐標計算方法的正確性。實驗中我們令實驗者站在不同的位置通過手柄移動交互的光標。使用者手柄的朝向與使用者眼睛到手柄的朝向一致。手柄光標為2D圖標，在2D畫布中渲染，照片中屏幕上的被黑色虛線框包圍的圓點即為用戶交互光標，如圖12所示。可以看出，交互光標與用戶的虛擬射線和屏幕的交點基本吻合，該計算方法的正確性得到了證實。

圖12 光標位置計算測試示意圖

6 結 語

面向虛擬現實多投影環幕設備提出了沉浸式可視化結果顯示方法，該方法有效地解決了傳統方法中顯示模糊的問題，并支持正確的立體顯示與交互，具有良好的使用價值。