一種融合交互投影技術的沉浸式虛擬展示應用

鄧戀

（北京郵電大學數字媒體與設計藝術學院，北京100876）

為滿足公眾對沉浸式虛擬展示心靈沉浸體驗，解決已有沉浸式虛擬展示交互性差、沉浸感低的問題，本文提出一種融合交互投影的沉浸式虛擬展示技術，從而創建一個具有互動性、趣味性和參與性的展示環境，實現展示內容與參觀者的現場互動體驗，提高展示體驗的交互性、沉浸感，給參觀者帶來心靈沉浸體驗，為沉浸式虛擬展示奠定基礎。

1 融合交互投影的沉浸式虛擬展示技術概述

本文提出的融合交互投影的沉浸式虛擬展示技術以投影技術、人機交互技術為基礎，在展示設計需求的推動下，以現實物體為投影介質，實現融合投影及人機交互，提高展示的沉浸感及交互性，輔助展示設計的完成。其中，投影技術利用幾何校正、邊緣融合等算法將待投影圖像進行處理，通過多投影儀將二維圖像無縫平滑、無畸變地投影到投影表面上，實現融合效果；人機交互技術借助Kinect 獲取人體骨骼框架及節點坐標，由節點坐標計算動作特征關節角度，定義具有動作角度閾值及持續時間的姿勢模板，再運用姿勢匹配算法進行動作識別，在展示設計需求的推動下，改變投影內容，實現場景交互。融合交互投影的沉浸式虛擬展示技術基本實現流程如圖1 所示。

圖1 融合交互投影的沉浸式虛擬展示技術流程

2 融合交互投影的沉浸式虛擬展示技術實現

2.1 投影技術

投影技術解決的兩個關鍵問題是投影畸變及亮度突變。投影畸變主要由于投影儀斜對投影表面，未能實現垂直投射。如圖2 左所示，此時投影儀垂直投射于墻壁接縫處，相對于兩邊墻面傾斜，產生投影畸變。亮度突變是由于多個投影儀重疊投射的投影區域處照亮的像素較多而產生的現象。如圖2 右所示，兩個投影儀重疊投射區域亮度明顯高于單個投影儀作用的區域亮度，產生白色亮條。為解決以上兩個問題，本文采用幾何校正及邊緣融合算法，得到具有無畸變的平滑投影畫面。

圖2 投影畸變及亮度突變

2.1.1 幾何校正

幾何校正的目的是預處理待投影畸變圖像，將發生畸變的投影點映射到正確的位置，形成無畸變的投影畫面。本文將投影表面分為兩類：投影平面及復雜投影表面。對于投影平面，本文采用基于單應性矩陣的幾何校正方法，求得待投影圖像與投影平面的映射關系，實現幾何校正。對于復雜投影表面，本文首先將投影表面及待投影圖像根據畸變特征點進行區域劃分，形成子平面的集合，然后對各個子區間使用基于單應性矩陣的幾何校正方法預處理待投影圖像，消除畸變。下文將對基于單應性矩陣的幾何校正方法及區域劃分進行介紹。

2.1.1.1 基于單應性矩陣的幾何校正

單應性矩陣是一個3*3 的矩陣，用于描述兩個平面之間的映射關系[1]。設待投影圖像中有一點P，坐標為(x,y)，投影表面對應點坐標為(X,Y)，待投影圖像和投影表面間的單應性矩陣為H，則兩面之間的變換關系可以表示為：

為了保證H 的唯一性，令其最后一項為1，此時H 為具有八個自由度的單應性矩陣。為了求得H，至少需要四組待投影圖像和投影表面的點對信息。本文將棋盤格角點作為特征點，向投影表面投射黑白棋盤格圖像，使用角點檢測法獲取角點信息，選取棋盤格圖像第一個角點、第r 個角點、第r(c-1)+1 個角點及第rc 個角點作為所需點對，其中r 為棋盤格角點行數、c 為棋盤格角點列數。然后將H-1左乘待投影圖像，實現幾何校正。

2.1.1.2 區域劃分

本文將投影表面局部區域形態發生明顯變化的邊界點作為畸變特征點，以劃分各個子區域。為了便于獲得畸變特征點位置，將棋盤格圖像作為待投影圖像對投影表面進行投射，并盡量使棋盤格角點與投影表面形態發生明顯變化的邊界對齊。如圖3 左所示，投影圖像以BC 作為邊界點，在BC 連線兩側發生明顯形變。則B 點、C 點為所求畸變特征點，投影表面劃分為ABCD 及BCEF 兩個子區域，對應待投影圖像劃分如圖3 右不同顏色面積區域所示。

圖3 非曲面復雜投影表面區域劃分

以待投影圖像左上角為坐標原點，建立uv 坐標系，則待投影圖像區域劃分公式表示為：

其中u 表示劃分區域起始點像素在u 軸上的值，v 表示劃分區域起始點像素在v 軸上的值，w 表示劃分區域寬度，h 表示劃分區域高度。

2.1.2 邊緣融合

經過幾何校正的圖像在重疊投影時，由于重疊區域亮度疊加，形成具有白色亮條接縫的亮度突變現象。為了解決該問題，本文使用邊緣融合方法，將各個待投影圖像重疊區域像素點亮度值乘以一個衰減系數，使得投影畫面在重疊區域進行亮度疊加后的效果和單投影儀作用效果相同。

邊緣融合函數表示為：

其中，f(x)作為右側投影重疊區域的融合函數，1-f(x)作為左側投影融合區域的融合函數。將左右兩個待投影圖像重疊區域利用融合函數進行亮度衰減后，得到亮度一致的投影畫面。

2.2 人機交互技術

人機交互技術借助Kinect 設備實現，主要由骨骼框架及關節點坐標獲取、特征角度計算、姿勢匹配和動作識別等幾個部分組成。首先，通過Kinect 獲取人體骨骼框架并計算骨架關節點的空間坐標；然后，利用關節點坐標計算特征角度；最后定義具有動作角度特征及持續時間的姿勢模板，將當前動作角度及動作時間與姿勢模板進行匹配，從而實現動作識別。

2.2.1 骨骼框架及關節點坐標獲取

Kinect 骨骼框架識別及關節點坐標獲取以景深數據為基礎[3]。首先，由Kinect 投射紅外光譜，通過空間中紅外光譜的反饋，計算待標定人體深度值，形成具有景深數據的深度圖；然后，從深度圖中識別出“人體”目標區域；最后，從深度圖像目標區域中逐像素點掃描，判斷人體骨骼位置，形成人體骨骼框架并得到各個關節的坐標[4-5]。

2.2.2 特征角度計算

本文利用角度特征[5,6]作為姿勢判斷依據。以抬起右手為例，設腕節點與肘節點形成的骨骼向量為Vi，肘節點和肩節點形成的骨骼向量為Vj，則兩個骨骼向量的夾角表示如下：

當設定姿勢模板后，在進行姿勢匹配及動作識別時，首先判斷當前動作角度是否在規定的角度閾值范圍內，然后判斷動作是否在持續時間內完成，若條件全部滿足，則姿勢匹配成功；若當前動作角度不在規定角度閾值范圍內或在規定持續時間內動作還未完成，則匹配失敗，需重新開始匹配[7]。匹配成功后即可通過肢體動作控制投影展示內容，實現場景互動。

2.3 交互投影技術與沉浸式虛擬展示的融合

沉浸式虛擬展示設計包含展示設計與用戶沉浸體驗設計兩個部分，展示設計是指依據具體展示主題要求進行設計，以符合展示主題傳播與使用的需要；用戶沉浸體驗設計是指通過外在感官與內在交互內容的沉浸式設計，提高用戶的沉浸體驗[8]。因此，交互投影技術與沉浸式虛擬展示的融合準則為按照展示設計需求，實現展示主題表達及沉浸體驗。交互投影技術與沉浸式虛擬展示融合模型如圖4 所示。

圖4 交互投影技術與沉浸式虛擬展示融合模型

展示設計按照展示主題進行設計，一方面需要考慮展示內容以表達主題思想，另一方面需要考慮展示方法，以呈現及推動展示主題發展。融合交互投影技術的沉浸式虛擬展示，選擇交互投影的展示方法，將展示內容用投影畫面的形式呈現給觀眾，結合展示主題發展的需要引導觀眾與展示內容交互，通過投影內容的改變推進展示主題發展，達到主題傳播目的。

沉浸體驗是生理與認知共同作用達到的全身心投入的狀態[8]。生理沉浸來源于生理感受，如嗅覺、視覺、觸覺等。認知沉浸[8]來自于用戶在內容的認知中自我意識與內容達到完美融合，從而進入一種全身心思考的狀態。交互投影技術將二維投影圖像投影在真實物體上，實現融合效果，具有逼真的畫面，讓用戶從生理上達到沉浸體驗。同時，通過自然的肢體動作實現與場景的交互融合，達到認知沉浸效果。

3 一種融合交互投影的沉浸式虛擬展示技術應用

本文將融合交互投影的沉浸式虛擬展示技術運用于大屏幕投影墻、洞穴式展示空間及三維瓷瓶等方面進行展示設計。

圖5 以敦煌藝術為展示主題，利用融合交互投影的沉浸式虛擬展示技術將反彈琵琶虛擬舞蹈呈現在平面投影墻。

圖6 以龜茲樂舞為展示主題，利用融合交互投影的沉浸式虛擬展示技術將虛擬龜茲樂舞展廳投射在洞穴式展示空間，形成沉浸式投影環境。同時將用戶右手模擬為鼠標，通過Kinect進行追蹤，當右手移動到可觸發展示物上方時，通過握拳姿勢實現對展示物的介紹。

圖7 以瓷器文化為展示主題，利用融合交互投影的沉浸式虛擬展示技術將瓷器二維投影圖像投射在瓷瓶表面，實現投影融合，達到生理沉浸效果。并通過Kinect 捕獲觀眾肢體行為，實現瓷瓶紋樣的切換、語音介紹功能，這種展示設計模式即能表現展示主題，又能引發觀眾思考，實現認知沉浸。

圖5 融合交互投影的敦煌藝術沉浸式虛擬展示

圖6 融合交互投影的龜茲樂舞沉浸式展示

圖7 融合交互投影的瓷器文化沉浸式虛擬展示

4 結論

本文為滿足公眾對沉浸式虛擬展示的沉浸式體驗要求，提高展示的交互性及沉浸感，提出一種融合交互投影的沉浸式虛擬展示技術，在展示設計需求的推動下，將二維投影圖像與投影表面融合，利用肢體行為控制投影畫面，產生場景交互，實現具有生理沉浸、認知沉浸的交互性沉浸式虛擬展示。交互投影技術在沉浸式虛擬展示中的使用有利于解決展示物品不便移動、不宜曝光等問題，在文物保護及文化傳承方面有一定的作用。

致謝：本篇論文得到了北京郵電大學世紀學院移動媒體與文化計算北京市重點實驗室大力支持，為論文提供了反彈琵琶視頻及龜茲樂舞展廳素材資源，非常感謝！