視差圖提取技術(shù)與OpenGL三維重建

羅桂娥，陳少華，劉小群

（中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長沙 410083）

三維重建技術(shù)是計(jì)算機(jī)視覺、人工智能、虛擬現(xiàn)實(shí)等前沿領(lǐng)域的熱點(diǎn)和難點(diǎn)，也是人類在基礎(chǔ)研究和應(yīng)用研究中面臨的重大挑戰(zhàn)之一[1]。基于雙目立體視覺的三維重建技術(shù)在機(jī)器人視覺、工業(yè)制造以及醫(yī)學(xué)影像診斷等多個(gè)領(lǐng)域具有廣闊的應(yīng)用前景。

基于雙目立體視覺的三維重建技術(shù)的首要條件是對(duì)左右圖像對(duì)進(jìn)行立體匹配從而獲得高質(zhì)量的視差圖像。在獲取視差圖像后，通過計(jì)算這些視差圖像上對(duì)應(yīng)點(diǎn)之間的視差提取出場景的深度，得到反映空間物體縱深關(guān)系的深度圖像，最后利用OpenGL進(jìn)行三維重建。

本文在對(duì)經(jīng)典的區(qū)域匹配和特征匹配算法進(jìn)行研究的基礎(chǔ)上對(duì)算法進(jìn)行改進(jìn)，并將兩種算法結(jié)合起來提出新的立體匹配算法。利用該算法提取出質(zhì)量較好的視差圖，然后利用平行雙目視覺三角測量原理來計(jì)算物體深度值進(jìn)而獲得物體的深度圖像，獲得了良好的深度圖像，最后利用OpenGL對(duì)深度數(shù)據(jù)進(jìn)行三維重建，取得了較好的重建效果。

1 基于雙目立體視覺的視差圖像提取

提取高質(zhì)量的視差圖像是基于雙目立體視覺的三維重建技術(shù)的首要條件[2]。立體匹配算法的實(shí)質(zhì)是在匹配基元相似性準(zhǔn)則下的最佳搜索問題。根據(jù)匹配基元的不同，目前的立體匹配算法可分為基于區(qū)域的匹配算法、基于特征的匹配算法和基于相位的匹配算法3類。本文重點(diǎn)研究區(qū)域匹配與特征匹配算法。

1.1 區(qū)域匹配算法研究及改進(jìn)

根據(jù)區(qū)域匹配算法的原理可知，計(jì)算匹配代價(jià)以及對(duì)匹配代價(jià)進(jìn)行累積是區(qū)域匹配算法的重點(diǎn)[3]。本文從測度函數(shù)以及窗口大小的選擇兩方面進(jìn)行改進(jìn)，提出一種新的基于視差梯度的區(qū)域匹配算法。

在區(qū)域匹配算法中，當(dāng)圖像對(duì)中存在像素的灰度分布與常態(tài)不同的點(diǎn)或者是有很大的噪聲時(shí)，常用的測度函數(shù)在匹配中就會(huì)產(chǎn)生誤匹配[4]。本文采用一種新的函數(shù)作為相似性測度函數(shù)來解決該問題，該函數(shù)的表達(dá)式及其導(dǎo)數(shù)的表達(dá)式為：

其中，n（x，y）=IL（x，y）-IR（x+d，y），σ 是一個(gè)可變的參數(shù)。

ρσ（n）函數(shù)能使圖像中的噪聲幾乎不影響圖像的質(zhì)量，因此得到的處理圖像效果很好。新的測度函數(shù)的表達(dá)式為：

根據(jù)式 （3） 可以得出|δd|與 △xl之間的關(guān)系： 當(dāng)|δd|>2時(shí)，圖像會(huì)由于遮擋而引起左右圖像匹配點(diǎn)倒序；當(dāng)1.2<|δd|<2時(shí)，圖像點(diǎn)的視差值變化比較迅速，是圖像邊緣點(diǎn)應(yīng)該具有的特征，即說明此時(shí)的圖像點(diǎn)位于邊緣；當(dāng)|δd|<1.2時(shí)，視差值的變化連續(xù)且比較緩慢，這說明搜索范圍是平滑區(qū)域。因此，本文對(duì)于灰度變化劇烈的邊緣區(qū)域（即 1.2<|δd|<2時(shí)）采用 3×3的小窗口進(jìn)行匹配，對(duì)于灰度變化平緩的平滑區(qū)域（即|δd|<1.2時(shí)）采用15×15的大窗口進(jìn)行匹配。

1.2 特征匹配算法研究及改進(jìn)

基于特征的匹配算法是以圖像中的角點(diǎn)、線或邊緣等為特征進(jìn)行匹配的算法。本文對(duì)基于特征點(diǎn)的匹配進(jìn)行了深入研究。

經(jīng)典Harris角點(diǎn)的特征匹配算法算法編程靈活且提取的特征具有統(tǒng)計(jì)的特點(diǎn)，這使其在很多方面具有很強(qiáng)的魯棒性[5]。但是當(dāng)圖像的尺度發(fā)生很小的變化時(shí)，經(jīng)典Harris檢測算子檢測到的特征點(diǎn)就不太理想，即這種算子不具有尺度不變性。本文采用新的Harris檢測算子使其具有尺度不變性，新的Harris檢測算子為：

對(duì)于窗口大小的選擇，本文根據(jù)不同的視差梯度范圍可以得到不同的區(qū)域特點(diǎn)，在區(qū)域匹配中引入視差梯度，這樣可以減少匹配時(shí)不必要的搜索，從而提高匹配的精度和速度。

平行雙目視覺系統(tǒng)中，根據(jù)視差梯度δd的定義以及左右視差 d1、d2，可推導(dǎo)出：

其中，σl表示積分尺度，σD表示微分尺度， 且 σl=sσD（s為一個(gè)不大于1的常數(shù)）。改進(jìn)的Harris檢測算子對(duì)M增加了尺度適應(yīng)的處理，這樣不僅能夠精確地提取小尺度圖像的角點(diǎn)而且能夠提取到豐富的大尺度圖像的角點(diǎn)，同時(shí)也可以檢測出存在于尺度空間以及二維圖像中的角點(diǎn)。

采用改進(jìn)的Harris檢測算子從位置和尺度上提取具有尺度不變性的角點(diǎn)之后，接下來就要為每個(gè)Harris角點(diǎn)構(gòu)造特征描述子即特征向量。這樣，特征匹配算法就轉(zhuǎn)化為利用測度函數(shù)來判斷特征向量的相似程度從而確定所提取的角點(diǎn)是否就是匹配的。在具體實(shí)現(xiàn)時(shí)，為了進(jìn)一步減少匹配誤差，采用雙向匹配的策略。

1.3 區(qū)域和特征匹配相結(jié)合算法的研究

基于視差梯度的區(qū)域匹配算法能夠半自適應(yīng)地選擇匹配窗口，而且搜索范圍的減少使得匹配的速度提高了，但是區(qū)域匹配算法的特點(diǎn)還是決定了該算法具有對(duì)輻射畸變及仿射畸變較敏感、計(jì)算量大以及速度較慢等缺陷；而基于尺度不變特征的Harris角點(diǎn)特征匹配算法在匹配的穩(wěn)定性以及匹配結(jié)果的精度方面有很大的提高，但是由于特征匹配的特點(diǎn)，得到的視差圖還是稀疏的。針對(duì)這兩種算法的不足，本文采用互補(bǔ)策略，充分利用區(qū)域匹配的致密性以及特征匹配的魯棒性，將兩種算法結(jié)合起來，以彌補(bǔ)相互的缺陷。基于此思想，提出了在邊緣和角點(diǎn)提取的基礎(chǔ)上進(jìn)行區(qū)域和特征相結(jié)合的立體匹配算法。

區(qū)域和特征相結(jié)合的立體匹配算法的具體實(shí)現(xiàn)步驟是：首先對(duì)左右立體圖像對(duì)進(jìn)行灰度化、濾波降噪、銳化等預(yù)處理，然后對(duì)預(yù)處理后的圖像對(duì)運(yùn)用Canny算子提取邊緣特征，在此基礎(chǔ)上采用改進(jìn)的Harris檢測算子提取角點(diǎn)，再對(duì)提取邊緣后的圖像對(duì)求取視差梯 度 δd， 對(duì) 于 1.2<|δd|<2 的 圖像邊緣點(diǎn)進(jìn)行基于邊緣區(qū)域的特征匹配，最后借助于區(qū)域的灰度對(duì)特征匹配后得到的圖像對(duì)中視差梯度|δd|<1.2的平滑區(qū)域進(jìn)行基于視差梯度的區(qū)域匹配，從而得到最終的視差圖。區(qū)域和特征匹配相結(jié)合算法的匹配流程圖如圖1所示。

1.4 算法分析

利用本文提出的算法對(duì)標(biāo)準(zhǔn)的TsuKuba立體圖像對(duì)提取視差圖。標(biāo)準(zhǔn)的TsuKuba立體圖像對(duì)如圖2所示，相應(yīng)的基于梯度的區(qū)域匹配算法、基于尺度不變特性的Harris角點(diǎn)特征匹配算法和本文提出的基于區(qū)域和特征匹配相結(jié)合的算法提取的視差圖如圖3所示。實(shí)驗(yàn)結(jié)果表明，本算法比基于梯度的區(qū)域匹配算法、尺度不變特性的Harris角點(diǎn)特征匹配算法匹配效果更好。

本文提出的區(qū)域和特征匹配相結(jié)合算法具有以下優(yōu)勢：（1）較為快速，因?yàn)樵趨^(qū)域匹配中引入視差梯度，這樣可以減少匹配時(shí)不必要的搜索從而提高匹配的精度和速度；（2）得到的是較為密集的視差圖，可以得到高精度的匹配結(jié)果；（3）由于基于尺度不變特征的Harris角點(diǎn)匹配算法的引入而具有了很好的穩(wěn)定性，提升了算法的魯棒性。綜合以上特點(diǎn)，本文的算法成功綜合了基于梯度的區(qū)域匹配算法和基于尺度不變特性的Harris角點(diǎn)特征匹配算法的優(yōu)點(diǎn)。

2 基于OpenGL平臺(tái)的物體三維重建

OpenGL是目前國際上通用的開放式三維圖形標(biāo)準(zhǔn)。OpenGL實(shí)際上是一個(gè)開放的三維圖形軟件包，它獨(dú)立于窗口系統(tǒng)和操作系統(tǒng)，以它為基礎(chǔ)開發(fā)的應(yīng)用程序可以十分方便地在各種平臺(tái)間移植，它強(qiáng)大的圖形庫函數(shù)為圖形圖像的開發(fā)提供了方便。

2.1 OpenGL中深度數(shù)據(jù)的三維重建方法

由于三角形能保證3個(gè)頂點(diǎn)在同一平面上，本文采用Delaunay三角剖分方法將所有的數(shù)據(jù)點(diǎn)連成三角網(wǎng)格，很好地重現(xiàn)了原始物體表面的拓?fù)浣Y(jié)構(gòu)，并利用OpenGL實(shí)現(xiàn)三維重建，其具體步驟如下：

（1）對(duì)OpenGL進(jìn)行初始化，即設(shè)置像素格式，為OpenGL提供繪制風(fēng)格、顏色模式、顏色位元數(shù)和深度位元數(shù)等信息。

（2）根據(jù)基本像素建立景物的三維模型，并對(duì)模型進(jìn)行數(shù)學(xué)描述。這里需要利用OpenGL的函數(shù)GL_POLYGON和glVertex3d等函數(shù)。

（3）把景物放置在三維空間的適當(dāng)位置，設(shè)置三維透視視覺體以觀察場景。

（4）加入光照及光照條件、材質(zhì)。

（5）把景物及其顏色信息轉(zhuǎn)化為可在屏幕上顯示的像素信息。

2.2 三維重建結(jié)果

重建的三維模型如圖4所示。實(shí)驗(yàn)結(jié)果表明，重建的三維物體逼真、真實(shí)感強(qiáng)，通過放大、縮小、平移和旋轉(zhuǎn)等方式展示各個(gè)方向的三維模型，視覺效果令人滿意。本文研究并改進(jìn)了經(jīng)典的區(qū)域匹配和特征匹配算法，在改進(jìn)的基礎(chǔ)上提出了區(qū)域匹配和特征匹配相結(jié)合的立體匹配算法，該算法充分發(fā)揮了兩種算法的優(yōu)勢。

利用該算法進(jìn)行立體匹配，獲得了高質(zhì)量的視差圖；然后根據(jù)三角測量原理利用獲得的視差圖進(jìn)行深度的計(jì)算提取深度圖；最后在基于MFC的OpenGL平臺(tái)下進(jìn)行三維重建，取得了較好的重建效果。要想進(jìn)一步提高重建模型的效果，可以在立體匹配算法上進(jìn)行進(jìn)一步研究，以期獲得更好的視差圖和深度圖。

[1]OKADA K，INABA M.Integration of real-time binocular stereo vision and whole body information fordynamic walking navigation of humanoid robot[J].IEEE Conference on Multisensor Fusion and Integration for Intelligence Systems， 2003：131-136.

[2]馬頌德，張正友.計(jì)算機(jī)視覺——計(jì)算理論與算法基礎(chǔ)[M].北京：科學(xué)出版社，1998.

[3]周秀芝，文貢堅(jiān)，王潤生.自適應(yīng)窗口快速立體匹配[J].中國圖象圖形學(xué)報(bào)，2006，29（3）：473-479.

[4]羅小燕.一種基于目標(biāo)區(qū)域綜合特征的圖像檢索方法[J].微計(jì)算機(jī)信息，2005(17)：214-216.

[5]周東翔，蔡宣平，孫茂印.一種基于特征約束的立體匹配算法[J].中國圖象圖形學(xué)報(bào)，2001，6（7）：563-656.