基于三目立體的場館數(shù)字再現(xiàn)增強現(xiàn)實技術(shù)

湯 安，樊海瑋

(長安大學(xué)，陜西 西安 710064)

1 引言

增強現(xiàn)實就是在虛擬現(xiàn)實技術(shù)基礎(chǔ)上信息計算機應(yīng)用在人機交互上的技術(shù)。其借助光電顯示技術(shù)、交互加速、多傳感器技術(shù)、計算機圖形和多媒體技術(shù)通過計算機生成虛擬環(huán)境和用戶周圍的真實場景的組合部分，使得用戶從感官上確信虛擬環(huán)境是其周圍真實場景的組成部分。和沉浸式虛擬現(xiàn)實不同，增強現(xiàn)實技術(shù)關(guān)鍵是在現(xiàn)實世界的基礎(chǔ)上，為用戶提供一種新的感官復(fù)合的視覺效果。增強現(xiàn)實技術(shù)不僅擁有真實感強、建模工作量小的優(yōu)點，并且更為安全可靠。所以該技術(shù)在教育機構(gòu)、醫(yī)療研究等領(lǐng)域的得到了廣泛的應(yīng)用，其中這種增強現(xiàn)實技術(shù)在體育場館中的應(yīng)用是當(dāng)前的熱點研究話題，為了讓人們能夠更加充分的了解體育場館，國內(nèi)外學(xué)者也通過以下方法對其進行增強現(xiàn)實。

文獻(xiàn)[1]首先分析現(xiàn)實增強概念，獲得其特征，然后在將場館內(nèi)的資源進行排列整理，得到場館源序列，再進行可視化檢索，得到場館的信息交互，隨后將上述得到的資源進行整合，從而構(gòu)建出移動資源展示系統(tǒng)，通過該系統(tǒng)對場館進行增強現(xiàn)實。但是該方法，只是通過普通的檢索來得到場館圖像，并沒有過硬的濾波器，這就導(dǎo)致在完成現(xiàn)實增強后圖像會出現(xiàn)模糊現(xiàn)象。

文獻(xiàn)[2]首先擬定包裝的基礎(chǔ)資源信息，之后通過掃描疊加對包裝進行處理，獲得包裝的具體信息狀況，并將其進行分類，再進行現(xiàn)實增強包裝設(shè)計，隨后將信息轉(zhuǎn)換成二維圖像，再通過AR疊加信息技術(shù)轉(zhuǎn)換為三維視覺圖像，最后將上述得到的信息進行整合，并融入三維視覺圖像內(nèi)，從而得到包裝的增強現(xiàn)實。但是該方法需要反復(fù)對信息進行狀態(tài)索取，這種操作會浪費大量的時間，導(dǎo)致了在構(gòu)建增強現(xiàn)實時效率過低。

文獻(xiàn)[3]首先收集零件圖紙?zhí)卣鼽c信息，并將其匹配得到零件圖紙的虛擬模型信息，然后通過Uni-ty3D將模型信息轉(zhuǎn)換成虛擬的三維模型，并生成其周邊場景，隨后通過VuforisSDK添加虛擬對象和人機交互系統(tǒng)。最后將上述資料進行融合，就可以得到機械零件的增強現(xiàn)實。但是該方法并沒有進行模型銳化，導(dǎo)致其會出現(xiàn)邊角模糊和線條不均勻問題，使其首到很大的環(huán)境限制。

針對上述問題，本文提出了一種基于三目立體的場館數(shù)字再現(xiàn)增強現(xiàn)實技術(shù)，以體育場館為例，通過多尺度邊緣提取與互能量交叉獲得場館邊緣特征，并進行噪聲消除，然后利用三目極線約束與梯度方向約束將線條約束，使得后續(xù)做出的場館增強現(xiàn)實不會受到場地限制，之后利用掃描儀收集場館的三維點云數(shù)據(jù)，從而得到完整的場館三維立體模型，最后錄制增強現(xiàn)實虛擬解析人物模型、聲音解鎖和文字介紹，并將其融入到三維立體模型內(nèi)，完成場館的增強現(xiàn)實。

2 基于三目立體的場館數(shù)字再現(xiàn)增強現(xiàn)實技術(shù)

2.1 場館數(shù)字多尺度邊緣提取

(1)

經(jīng)過對小波分解圖像的帶通特質(zhì)分析得出，體育場館數(shù)字邊緣處于高頻分量中，通過視覺特性可以知道，人眼視覺對圖像的垂直方向和水平方向邊緣較為敏感，其代表了圖像的關(guān)鍵邊緣。為了收集此類圖像的主要邊緣，對小波分解的三幅高頻分量子圖像D1，j、D2，j和D3，j選取適合的門限，進而得到每個圖像自己的邊緣圖像，再通過不同的集合產(chǎn)生所需要的邊緣圖像，將三幅高頻子圖像進行計算

De，j=D1，j⊕D2，j⊕D3，j

(2)

互能量交叉是噪聲抑制方法的關(guān)鍵出發(fā)點，一般邊緣在小波分解的每個長度都含有非常大的能量，而噪聲的能量會隨著長度的增加而對應(yīng)的縮小，所以互能量交叉可以分別把通道分量進行相鄰?fù)ǖ滥芰拷徊妫瑥亩鴮⒅饕吘壨怀觥?/p>

通過互能量交叉抑制方法對噪聲處理的擬定成

De=sgn{De，j}×|De，j|×|De，j+1|

(3)

式中，sgn{·}代表取整函數(shù)的符號，即在確保原始邊緣圖像質(zhì)量[5]不變的狀態(tài)下，把邊緣圖像做臨近兩層交叉處理，進而得到完整的邊緣圖像，在處理的過程內(nèi)得到抑制噪聲的效果。

其中的原因有兩種：①小波分解把噪聲散播至所有通道，因為噪聲在通道的能量位置都各不相同，而且噪音中間不會存在聯(lián)系，所以互能量交叉的結(jié)果，可以間噪聲的影響進行抑制，②信號對于噪聲在通道都含有非常大的能量，互能量交叉的結(jié)果，可以把邊緣的能量值提升，進而將圖像的主要邊緣突出。

2.2 三目立體匹配算法

上述提取出的特征點會受到噪聲因素的影響，所以點特征不及線條特征可靠。對此，匹配將分為兩種層次進行。第一層即線的匹配，首先使用三目極線約束與點的梯度方向約束對線上少量的點進行點的匹配，從而確保線和線的相應(yīng)關(guān)系；第二層即點的匹配，通過上述得到線的相應(yīng)關(guān)系為約束，引導(dǎo)線上的其它點進行匹配。下面首先講述三目極線約束[6]與點的梯度方向約束，然后給出新的匹配算法。

2.2.1 三目極線約束

三目立體視覺系統(tǒng)內(nèi)(如圖2所示)，右、中、左三個攝像機收集的圖像分別對應(yīng)平面L、M、R，O1和O2、O3代表三個攝像機的中心，P代表空間一點，該點在三個平面中的投影的像點分別是P1、P2與P3。

圖2 梯度方向約束結(jié)構(gòu)圖

圖1 三目極線約束結(jié)構(gòu)圖

2.2.2 梯度方向約束

相對于線的匹配，同一條直線在不同的角度上所對應(yīng)的線段梯度方向是大小相鄰的，特別是對于攝像機光軸平行的立體視覺系統(tǒng)，用直線方向信息能夠有效的減少搜索范圍[7-8]。本文提取的邊緣線只是其中的一部分靠近直線，所以不可以直接使用直線的方向約束，不過所有視圖中相應(yīng)同一邊緣的匹配像點，它們的梯度方向仍是相近的，其差值限定在一個非常小的范圍內(nèi)，這時一種有效的約束方法。

在圖2內(nèi)，lL、lM與lR代表一組相應(yīng)的匹配線條，p1、p2與p3代表線中一組相應(yīng)的匹配點，α1、α2與α3在三種像點的梯度方向角，所以三種角度應(yīng)當(dāng)滿足|αi-αj|

2.2.3 立體匹配

3)j=j+1，轉(zhuǎn)1)。如果在線段i中搜索到終點，那么i=i+1，轉(zhuǎn)1)。

5)對線段ks與mt已經(jīng)匹配標(biāo)記擬定成TRUE，繼續(xù)向后作逐點匹配，一直到(i，ks，mt)三條線內(nèi)有一條到盡頭。

6)i=i+1轉(zhuǎn)1)，一直到參考圖像中能夠匹配的線段匹配結(jié)束。

通過上述能夠看出，該算法是用邊緣線中少量點的匹配確保邊緣向的相應(yīng)，之后以此為強約束，繼續(xù)指引后端點的匹配。算法內(nèi)除了通過邊緣點的梯度方向約束與三目立體極線集合約束外，因為點的匹配是按照順序逐一進行的，所以擁有了順序一致性約束。因為線條提取后的編號會和線條在圖像的位置存在關(guān)聯(lián)，為了提高匹配速度，在另一視圖內(nèi)完全能夠憑借編號限定線條的搜索范圍。

2.3 場館數(shù)字再現(xiàn)增強現(xiàn)實實現(xiàn)

2.3.1 快速獲取場館數(shù)字的三維點云數(shù)據(jù)

經(jīng)過FAROFocus3D掃描儀獲取三維點云數(shù)據(jù)的具體過程如下所示：

1)建造掃描儀，調(diào)整掃描儀的水平參數(shù)和重力參數(shù)，擬定掃描效率和準(zhǔn)確度等參數(shù)。

2)配準(zhǔn)掃描儀。

3)放置靶球。

4)掃描。

選取分辨率與參數(shù)質(zhì)量，其參數(shù)會影響到點云數(shù)據(jù)的精準(zhǔn)度，點云的密度越高分辨率與質(zhì)量就越大，掃描的就越精準(zhǔn)，每個位置掃描的時間也就越長，往往這種參數(shù)是依據(jù)需要來選取的。

2.3.2 場館三維點云數(shù)據(jù)處理

為了使場館三維模型更加逼真，在三維點云數(shù)據(jù)的基礎(chǔ)上，使用Gemagic和3DMax軟件分別對三維模型進行貼圖處理和點云剪輯，具體的云剪輯過程如下所示：

1)把獲取點云數(shù)據(jù)從SD卡轉(zhuǎn)移到電腦里。

2)使用Gemagic軟件將三維點云數(shù)據(jù)進行優(yōu)化修補。

3)通過網(wǎng)格優(yōu)化模型。

2.3.3 場館數(shù)字增強現(xiàn)實開發(fā)關(guān)鍵技術(shù)

增強現(xiàn)實就是將場館外形、聲音使用三維虛擬技術(shù)傳輸至互聯(lián)網(wǎng)、平板電腦與手機等平臺里，其超越了傳統(tǒng)意義的時間與空間制衡，經(jīng)過JAVA語音開發(fā)場館數(shù)字的產(chǎn)管數(shù)字增強現(xiàn)實，完成的流程如下所示：

1)錄制場館數(shù)字的虛擬聲音、人物模型與文字介紹，并設(shè)定后期的場館音效、字母描述、交互動作與動作展示，直到最后的平臺發(fā)布，利用3DMAX進行內(nèi)部外部模型與空間的構(gòu)建，使用Unity3D技術(shù)對人機互動進行設(shè)定，從而完成系統(tǒng)的交互能力。然后，優(yōu)化模型與貼圖，同時添加對應(yīng)的粒子系統(tǒng)與渲染效果，將虛擬場館展示效果進行優(yōu)化。同時將反光、燈光與陰影添加到虛擬場館里，然后把模型輸送到Unity3D平臺里，之后把其它的效果輸送到紋理內(nèi)，使得模型出現(xiàn)更為真實的音影效果。

2)利用Mark識別法進行三維注冊，經(jīng)過比特網(wǎng)法對場館圖像進行處理。首先得到三種點在顯示器坐標(biāo)內(nèi)的坐標(biāo)，通過某種算法計算出這三種頂點在攝像機坐標(biāo)內(nèi)的相應(yīng)點的坐標(biāo)，通過計算能夠獲得四組解的點坐標(biāo)集合。

將上述過程轉(zhuǎn)換成公式可以表示為：

D=CT

(4)

其中，矩陣T為攝像機里部的參數(shù)矩陣，攝像機搜索到坐標(biāo)后就將其當(dāng)做已知參數(shù)；矩陣T為待求轉(zhuǎn)換矩陣，使用平面幾何建造三種可見點合成的平面坐標(biāo)系。C代表特征圖像坐標(biāo)系與顯示器屏幕坐標(biāo)系。

3)動態(tài)擬定素材的亮度和陰影，將圖像的亮度分布進行處理，憑借亮度的值匹三維素材的色澤和亮度進行配對，使場館環(huán)境更具有真實感；經(jīng)過亮度分布判定環(huán)境光照的方位，進而映射出虛擬場景和之真實物體間的陰影。場館數(shù)字增強現(xiàn)實系統(tǒng)的大體構(gòu)架：首先擬定模型的布局，再擬定交互模塊，在漫游瀏覽模塊里，可以自主調(diào)換動畫，自主模塊里能夠自主的挑選瀏覽的方式。

模擬在瀏覽過程中的場館虛擬環(huán)境，之后擬定聲音視頻的交互環(huán)境，其包含動畫模擬、背景音效與音樂立體3D音效等，最后就是場館內(nèi)的交互界面，其關(guān)鍵點即通過用戶的觸碰，操作虛擬場館內(nèi)的場景變換，熱點選擇，就是使用屏幕里的虛擬鏡頭，使用戶能夠瀏覽整體的虛擬場館。

3 仿真證明

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境和MATLAB6.1的軟件環(huán)境。本文將利用本文方法進行場館建模，以體育館為例，得到仿真圖，如圖3所示。

圖3 體育場館仿真圖

為了證明本文方法的效果，使用文獻(xiàn)方法與本文方法進行比對，通過完成后增強現(xiàn)實模型的誤差作為比對標(biāo)準(zhǔn)，其結(jié)果如圖4所示。

圖4 不同方法的增強現(xiàn)實模型誤差圖

通過圖4能夠看出，本文方法對增強現(xiàn)實模型幀間的誤差不大，這說明本文方法做出來的增強現(xiàn)實可以更好的模擬現(xiàn)實體育場館的具體結(jié)構(gòu)。文獻(xiàn)方法因為模擬的場館臨近圖使用的順序是搜索方法，雖然留下了場館的大體構(gòu)造，但是一些微小細(xì)節(jié)，會被搜索方法連帶著冗余構(gòu)造一起刪除，因此導(dǎo)致傳統(tǒng)方法在完成場館的增強現(xiàn)實后會出現(xiàn)局部不清晰的問題。

在系統(tǒng)構(gòu)建增強現(xiàn)實的訓(xùn)練階段，本文構(gòu)建D=10層深度的隨機數(shù)，用在對場館內(nèi)的關(guān)鍵點進行幀率檢測，其幀率計算過程如下所示

(5)

式中，Z(s)表示幀數(shù)；ti表示時間。在固定幀數(shù)的基礎(chǔ)上，利用該式實現(xiàn)幀率測試，實驗結(jié)果如表1所示。

表1 關(guān)鍵幀的幀率測試

分析表1可知，本文方法具有較高的幀率，此外，由于幀率受時間與幀數(shù)的影響，同時，本文限定了固定幀數(shù)，因此，本文還具有較高的實時性。而傳統(tǒng)方法之所以幀率低、實時性差，是由于使用交互關(guān)系數(shù)選擇關(guān)鍵幀比較耗費時間，并且虛擬場館的模型面片數(shù)量較多，干擾了系統(tǒng)的實時性能。在使用本文系統(tǒng)進行處理后，系統(tǒng)在雙核CPU機器中的刷新率提高了一倍，滿足了場館增強現(xiàn)實的實時性。

4 結(jié)論

本文針對體育場館特點，使用三目立體手段來提升場館數(shù)字再現(xiàn)增強現(xiàn)實，使用多尺度邊緣提取算法與互能量交叉算法提取出場館的邊緣特征，同時進行去噪處理，在后期的制作上不會出現(xiàn)邊緣模糊不清問題，之后利用三目立體匹配算法對場館的極線進行約束，使得每幀虛擬圖像不會出現(xiàn)掉幀現(xiàn)象，最后通過傳統(tǒng)的錄制音效方法，錄制文字減少與聲音，并將其與上述得到的資源進行融合，從而完成對場館的增強現(xiàn)實。