虛擬現實技術的三維圖像重建系統

孫嘉徽

摘? 要： 為了提高三維圖像質量，設計基于虛擬現實技術的三維圖像重建系統。首先，提取三維圖像點云信息，通過虛擬現實和幀同步技術融合點云數據，利用中值濾波技術去除圖像噪聲;然后，采用虛擬現實技術對降噪后圖像開展點云優化，自動檢測圖像點云的特點，過濾掉噪聲點，有效覆蓋圖像表面微小矩形面片集，提升圖像三維重建完整度，通過匹配前景得到點云位置;最后，重建過程中調整點云數據為高斯正太分布項目，有效縮短圖像前景和背景間重建差異，實現三維圖像重建。實驗結果表明，該系統的幀跟蹤能力強，重建三維圖像清晰、分辨率高。

關鍵詞： 三維圖像重建; 虛擬現實技術; 圖像預處理; 點云優化; 點云特點檢測; 噪聲點過濾

中圖分類號： TN911.73?34; TP391? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）09?0067?04

3D image reconstruction system based on virtual reality technology

SUN Jiahui

（Jackie Chan Film and Media School， Wuhan Institute of Design and Sciences， Wuhan 430000， China）

Abstract： A 3D image reconstruction system based on virtual reality technology is designed to improve the quality of 3D image. Firstly， the point cloud information of 3D image is extracted， the point cloud data is fused with virtual reality and frame synchronization technologies， and the image noise is removed with median filtering technology. And then， the point cloud of the denoised image is optimized with the virtual reality technology to automatically detect the point cloud characteristics of the image， filter out noise points， effectively cover the tiny rectangular patch sets on the image surface， improve the integrity of 3D image reconstruction and obtain the point cloud position by matching the foreground. Finally， the point cloud data is adjusted to be Gauss distribution in the reconstruction process， which effectively reduces the reconstruction difference between the foreground and background of the image， and the 3D image reconstruction is realized. The results of experiments show that the system has strong frame tracking ability， and is of clear reconstructed 3D image and high resolution.

Keywords： 3D image reconstruction; virtual reality technology; image pre?processing; point cloud optimization; point cloud characteristic detection; noise point filtering

0? 引? 言

隨著人們需求的提高，二維圖像已無法滿足人們視覺上的感受，三維圖像的出現可以更加清晰地展現圖像內部信息，為使用者提供極大便利。三維圖像重建在醫療、探測、軍事等領域中具有重要的應用價值[1?2]。

虛擬現實技術是20世紀新興起的一項全新技術，通過計算機三維仿真系統模擬出一種虛擬環境，實現虛擬與現實相結合，令人沉浸其中，在虛擬世界體驗真實感受。虛擬現實技術集計算機技術、電子信息技術以及仿真技術于一身，將現實生活中的數據轉化成真實物體或者肉眼看不到的物質，并通過三維圖形展現出來。虛擬現實技術可以為人們提供視覺、聽覺、運動等多方面感知，已在眾多領域得到廣泛應用，并成為了一個全新技術領域[3?4]。

為此，本文設計了基于虛擬現實技術的三維圖像重建系統，將虛擬現實技術充分融入三維圖像重建過程中，以一種更加直觀、具體、清晰的方式展現圖像，有效促進了三維圖像重建工作的飛速發展，并為古建筑修復、場景測繪等領域提供了理論依據。

1? 三維圖像重建系統實現

1.1? 系統整體框架

基于虛擬現實技術的三維圖像重建系統功能框架如圖1所示，系統功能框架由圖像提取、圖像預處理和圖像三維重建三部分構成。通過3D激光掃描儀定義圖像場景，獲取原始點云圖像[5]，3D激光掃描儀針對不同角度的場景信息實施圖像點云信息全方位采集，獲取圖像原始點云信息，整個圖像采集過程采取全封閉模式。采用中值濾波技術對所采集的原始點云數據展開數據預處理，將原始點云數據轉換成一個三維點云數據場，利用虛擬現實技術優化三維點云數據場的點云分布密集度，獲取三維圖像重建結果[6]。根據三維圖像重建結果實現三維控制和距離測量，并將最終結果通過三維顯示界面呈現出來。顯示過程中可以通過移動、旋轉等操作實現三維圖像的多角度分析，通過對三維圖像的局部放大和縮小，實現對三維圖像細節的深入研究[7]。

1.2? 圖像預處理

采用虛擬現實技術、幀同步并整合原始點云數據，實現原始點云圖像的點云信息融合[8]，采用中值濾波技術預處理融合完成的原始點云圖像中點云數據。中值濾波技術的工作原理是：用數字點云圖像中某點云周圍一定范圍內其他點值的中值代替某點，實現該點周圍的像素值接近該點真實值，用來消除個體噪聲點云，達到圖像預處理的目的[9]。采用中值濾波預處理原始點云圖像中的點云數據，預處理完成輸出值為：

[Ψi，j=median Λin=median[Λi+m，j=n;（m，n）∈w]Λij;（i，j）∈Z2] （1）

式中：[m]，[n]分別表示窗口水平、垂直方向的大小;[w]，[Z2]分別表示平面窗口規格、二維數據串序號;[Λij]，[Ψi，j]分別表示圖像上點云坐標是[（i，j）]，經過中值濾波處理的輸出值。

圖像預處理將原始點云數據轉換成一個三維點云數據場，為后續圖像點云優化提供基礎。

1.3? 圖像點云優化

利用虛擬現實技術優化三維點云數據場的點云分布密集度，實時調整各光束和3D激光掃描儀位置，依照3D激光掃描儀光心同空間點連接形成的光束，塑造光束平差模型。采用非線性改進法計算3D激光掃描儀相關參數和空間坐標點，使二者間誤差均勻分布，實現誤差最小的過程為圖像點云優化過程[10]。三維空間中，第[a]幅圖像上，空間點[g]點的縱投影點和像素點[ω]之間距離平方和的最小值計算方法為：

[min=g=1ga=1Avgad（EaSg，ω）2] （2）

為了消除圖像中的配準噪聲，通過隨機選取初始值方式，線性轉換式（2），分別采用局部線性逼近方式和非線性最小平方法實現圖像迭代至收斂和求取最大似然估計。為確保優化圖像點云后，獲取精確的三維圖像重建結果，可以通過擴大圖像迭代收斂范圍實現[11]。3D激光掃描儀的參數均為12項，空間點的參數均為4項，假設有[A]幅圖像，需要對圖像上[G]個空間點實施三維重建，則對參數實施最小化變換的數量為12[A]+4[G]。伴隨空間點個數[G]和圖像幅數[A]的增加，參數最小化處理的計算量也隨之增加，將導致圖像三維重建效率低。為有效避免這一現象，可通過降低[G]和[A]的數量或采取稀疏矩陣方法來實現。

采用虛擬現實技術調整三維數據點云，匯集成分布較為密集的三維點云，有效解決三維點云數據分配不均勻產生的數據重疊情況，提升三維圖像重建精準度[12]。虛擬現實技術能夠自動檢測圖像點云，并有效過濾噪聲點和障礙物，對目標圖像表面的微小矩形面片集具備良好的覆蓋效果，使得圖像的三維重建完整度得到很大程度提升[13]。已經確定的[A]幅圖像序列集為[I=Iii=1，2，…，A]，將全部圖像劃分成單元模塊[Di（x，y）]，大小為[r×r]，確保每個單元模塊均存在矩形面片[λ]，并將此作為圖像三維重建目標，[d（λ）]表示矩形面片[λ]的中心，[n（λ）]表示單位法向量。依照Harris和DoG算子獲取圖像對角點和特征塊，展開[Di（x，y）]的響應值求取，在得到的求取結果中選擇極大值，數量為[η]，為取得稀疏重構矩形面片[λ]的初始值，對極大值實施圖像間匹配及三角化。若[R（λ）=1]，采用光度一致性估計[H（λ）]初始值，優化[d（λ）]，[n（λ）]，重新計算[H（λ）]值。重復上述過程，直至[H（λ）≥β]時結束。

由于相鄰矩形面片間法向量相近，所以始于矩形面片[λ]，采用迭代法尋找已有矩形面片[Di（x，y）]和[D′i][（x，y）]，判斷二者是否相鄰的方式為：

[（d（λ）-d（λ））?n（λ）+（d（λ）-d（λ））?n（λ）<2ρ1] （3）

式中：[ρ1]為所對應[r]像素的圖像處于[d（λ）]和[d（λ）]中心的深度;[λ]為[R（λ）]，[H（λ）]，[d（λ）]，[n（λ）]賦予新數初始化后的[λ]。利用局部光度一致性約束優化[d（λ）]，[n（λ）]，利用全局可視化約束優化[H（λ）]，假如[H（λ）≥β]，改變[S（λ）]中的深度圖。過濾擴展后的重建面片，發現并濾除錯誤匹配點。若矩形面片[λ0]在圖像集[U]的外表面，符合式（4）關系：

[H（λ）1-v*（λ）

則過濾[λ0]點;若矩形面片[λ0]在圖像集[U]內部，重新計算全部點的[S（λ0）]和[H（λ0）]，如果[H（λ0）<β]，則過濾[λ0]點。

1.4? 圖像三維重建

為更好地體現圖像中幀點像素的分布狀況，將采用虛擬現實技術優化的點云數據的高斯正太分布項目，組成重建模型[14]，每個高斯正太分布項目的權重比例可看成是重建模型中用于表示圖像前景、背景的比例。圖像中幀點像素在時間域[O]中的變化情況用[{X1，X2，…，Xo}]表示，幀點像素時間[Xi]的選擇采用隨機方式，則[Xi]是重建圖像背景的比例為：