基于虛擬現實的數字三維全景超分辨重建系統設計

楊開富

摘? 要： 針對傳統的三維全景光學成像重建系統交互能力差的問題，設計基于虛擬現實的數字三維全景超分辨重建系統。在硬件設施上保留固有硬件，添加頭戴顯示器、操縱桿等虛擬設備。在該系統的軟件設計上，利用高斯描述模型定義尺度空間提取二維圖像特征，建立超分辨率網格配準圖像。根據平移理念校正光心位置，拼接全景圖像獲取匹配關系。渲染并覆蓋虛擬模型紋路，建立虛擬的三維全景環境模型，至此該重建系統設計完畢。實驗結果表明，所設計系統的交互性更強，最終生成的數字三維全景效果更逼真。由此可見，所設計基于虛擬現實的重建系統更適合用于圖像的重建。

關鍵詞： 三維全景; 超分辨率重建; 系統設計; 虛擬現實; 圖像特征; 匹配關系

中圖分類號： TN911.73?34; TP391.4? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）10?0145?03

Design of digital 3D panoramic super?resolution reconstruction system

based on virtual reality

YANG Kaifu

（Chongqing Technology and Business University， Chongqing 400067， China）

Abstract： As the traditional 3D panoramic optical imaging reconstruction system has poor interactive ability， a virtual reality based digital 3D panoramic super?resolution reconstruction system is designed. In the hardware facilities， the inherent hardware is reserved， and the head?mounted display， joystick and other virtual devices are added. In the software design of the system， the scale space is defined by the Gaussian description model to extract the two?dimensional image features and establish the super?resolution grid registration image. The position of optical center is corrected on the basis of the translation idea， by which the panoramic image is spliced to obtain the matching relations. The virtual model grain is rendered and covered to establish the virtual 3D panoramic environment model， thus the reconstruction system design is completed. The experimental results show that the interaction of the designed system is stronger， and the effect of the final generated digital 3D panorama is more realistic. It can be seen that the designed reconstruction system based on virtual reality is more suitable for the image reconstruction.

Keywords： 3D panorama; super resolution reconstruction; system design; virtual reality; image features; matching relationship

0? 引? 言

虛擬現實是一種可以創建虛擬場景、體驗虛擬世界的計算機仿真技術。當前的虛擬現實技術試圖將人與虛擬世界直接連接，令使用者獲得與真實世界相同的認知和感受[1]。而數字三維全景的超分辨率重建系統為了提升人機的交互程度，將虛擬現實融入到該系統中，改進了傳統光學成像系統生成的三維立體效果圖像，以超分辨率的方法提升圖像的分辨率，從而構建更加真實的虛擬場景，提升人機交互程度[2]。

1? 基于虛擬現實的三維全景超分辨重建系統硬件設計

本文設計的重建系統硬件主要包括專用圖形處理計算機和輸入輸出設備[3]，硬件架構如圖1所示。

輸入設備將用戶指令輸入計算機，并將模擬后的圖形影像反饋給用戶，而輸出設備則將輸入信息的反饋結果提供給使用者。為了保證最終的三維全景效果圖的分辨率，在基本的重建系統硬件基礎上，添加可移動的穿戴式頭戴顯示器、操縱桿等虛擬設備，來感知全方位的場景[4]。將上述系統硬件設備與重建系統的基本設備連接，通過增強虛擬影像的轉置能力，提升全景圖像的分辨率，改善人機交互效果[5]。

2? 基于虛擬現實的三維全景超分辨重建系統軟件設計

在系統硬件設計完畢的基礎上，設計基于虛擬現實技術的超分辨重建系統軟件。

2.1? 提取圖像二維特征配準圖像

試運行連接完畢的系統硬件，在測試結果正常的情況下，設置掃描儀參數。依據高斯描述模型，定位掃描儀參數的掃描尺度空間[6]，具體計算結果為：

[Ga，b，λ=12πλexp-a2+b22λ2La，b，λ=Ga，b，λ?Ia，b] （1）

式中：[a]表示每一圖像數據點的橫坐標;[b]表示每一數據點的縱坐標;[λ]表示高斯函數的標準差值，根據此差值控制圖像的模糊程度。設置完畢二維圖像的掃描尺度空間后，根據該空間中的極值點，提取其中的關鍵特征點，根據關鍵點對圖像配準，該過程如圖2所示[7]。

根據上述過程示意圖，先預處理原始圖像和待配準圖像，利用SIFT算法對圖像初步配準，初始估計低精度像素位置，將原始圖像坐標映射到待配準圖像坐標系中。依據光線追跡數據置換物象空間，輸出兩組圖像的重疊區域。建立重疊區域子窗，使用標準化互相關法配準圖像，建立仿射變換模型。將各區域子窗置換到原始圖像坐標系中，建立超分辨率網格，以非均勻插值的方法重新排列子窗灰度值，實現對圖像的配準[8]。

2.2? 拼接全景圖像獲取匹配關系

拼接配準好的圖像，以此得到三維全景效果圖。考慮物件的點位置與全景圖像點位置的投影關系，校正視點，投影平面圖像生成球面三維全景圖。由于多角度的拍攝會導致拍攝光心不在統一的位置上，導致全景圖像信息被壓縮后產生畸變。因此保證參數不變的前提下，利用平移理念校正圖像視點[9]。校正視點后，計算圖像平面向球面的映射。假設圖像上任意一點[c]的坐標為[x，y，z]，映射點[c′]其坐標為[x′，y′，z′] ，根據球面三維歐氏坐標的轉換性，得到全景圖的拼接函數：

[x′=γsin β?yγcos β?xγy′=-γsin β?yγsin β?xγz′=γcos β?xγ] （2）

根據上述公式實現對全景圖像的超分辨拼接，得到圖像的點云數據[12]。

2.3? 實現虛擬三維全景效果圖的重建

根據得到的匹配關系，建立虛擬的三維全景環境框架模型，利用圖像仿真渲染技術填充框架組件。但渲染后的三維模型并不具備虛擬實物的特征點，因此設計模型表面的覆蓋紋理，如圖3所示。

由圖3可以看出，該過程一共分為4個階段，先填充并渲染搭建的虛擬物體框架，再利用算法繪制物體表面的覆蓋紋路，然后填充其他結構單一的組件，最后根據框架結構豐滿整體虛擬物體。為了保證該系統的交互能力，設置人機交互程序，此操作中的部分代碼如下：

{

Private enum WavePosition/（Left=1，Right=2，Neutral=3）/

Private enum WaveGestureState/（Left=1，Right=2，Neutral=3）

Private struct WaveGestureTracker/

Public int IterationCount;

Public WaveGestureState State/

Public Long Timestamp;

Public WavePosition StartPosition;

Public WavePosition CurrentPosition;

}

至此基于虛擬現實的數字三維全景超分辨重建系統設計完畢。

3? 系統運行測試

設計該重建系統的目的是以超分辨的技術手段提升三維全景圖像的分辨率，基于虛擬現實技術捕捉圖像之間的匹配關系，建立尺寸真實的環境模型，搭建沉浸式的虛擬現實場景。為了更加直觀地感受該重建系統的交互性，同樣運行傳統的三維全景光學成像重建系統，比較兩個系統的交互能力。

3.1? 實驗準備

系統硬件方面選用2臺型號同為Oculus DK2的計算機，該計算機的操作系統為Windows XP，處理器為Intel i7?7700K，16 GB運行內存，兼容HDMI 1.4b視頻輸出，同時存在雙接頭USB 3.1端口。軟件方面，使用環境為Unity3D 5.6（64 bit），Oculus DK2驅動。分別將所設計的系統與傳統重建系統裝入2臺計算機中，重建如圖4所示的環境實景圖。

3.2? 結果分析

用符號A表示所設計系統下的實驗結果，用符號B表示傳統重建系統的實驗結果。選擇2名實驗人員，分別利用兩種系統重建圖4中的實景圖像，得到的系統交互性實驗結果，如圖5所示。

根據圖5可知，實驗人員分別向兩個重建系統提交5次數據量大小不一的信息，所設計的系統處理每條信息內容后逐一對問題反饋，交互性較強;根據傳統重建系統的交互程度曲線圖，可以看出在同等實驗條件下，該系統對于信息的接收能力均不同，反饋程度也與所提交的信息不吻合。

綜上可知，所設計的重建系統能夠準確接收操作人員提交的數據信息，并根據提交內容作出反饋;而傳統的重建系統在信息接收環節就已經出現能力不足的現象，并且在反饋階段同樣不能作出有效回應，由此可見該系統交互性較差。

4? 結? 語

此次針對虛擬現實而設計的重建系統，充分發揮了虛擬現實技術生成三維全景圖像時的交互能力。該系統能及時接收操作人員提交的數據信息，做出相應調整后快速反饋，實現了設計該系統高效交互能力的這一目的，解決了傳統重建系統由于交互性不高導致圖像效果不佳的問題。

參考文獻

[1] 王剛.基于虛擬現實的室內景觀重建技術[J].現代電子技術，2018，41（4）：147?149.

[2] 劉卜水.數字藝術人機交互控制系統設計研究[J].電視技術，2018，42（10）：144?148.

[3] 陳琳，李潔.基于虛擬現實技術的三維影像智能顯示系統嵌入式設計[J].現代電子技術，2017，40（8）：108?110.

[4] 吳才喚.真人圖書館：現實瓶頸與虛擬現實技術應用研究[J].圖書館建設，2017（4）：328?332.

[5] 蔡艷，林迅.基于虛擬現實技術的激光多普勒圖像三維重建系統設計[J].激光雜志，2017（8）：241?244.

[6] 王卓.基于視覺傳達效果的三維圖像虛擬重建[J].現代電子技術，2019，42（1）：70?72.

[7] 劉冬，秦瑞，陳曦，等.3D車載環視全景生成方法[J].計算機科學，2017（4）：104?107.

[8] 韓媞.低對比度全景球面圖像目標分割方法[J].科學技術與工程，2017（14）：239?243.

[9] 吳麗萍，胡郁.柱面全景圖圖像拼接中圖像平滑的虛擬現實技術[J].科學技術與工程，2017（31）：277?282.

[10] 劉斌，鹿瑋，王金波，等.一種旋轉掃描的可見光全景成像系統及實現[J].激光與紅外，2017（9）：85?88.

[11] 程德強，陳亮亮，蔡迎春，等.邊緣融合的多字典超分辨率圖像重建算法[J].煤炭學報，2018（7）：2084?2090.

[12] 胡長勝，詹曙，吳從中.基于深度特征學習的圖像超分辨率重建[J].自動化學報，2017，37（5）：113?116.