基于SGBM算法與BM算法的三維重建分析

李先祥 陳思琪 肖紅軍 黃道平

基于SGBM算法與BM算法的三維重建分析

李先祥1陳思琪1肖紅軍1黃道平2

（1.佛山科學(xué)技術(shù)學(xué)院 2.華南理工大學(xué)）

立體匹配是雙目立體視覺三維重建的重要部分，其算法的選用直接影響匹配的效率與重建結(jié)果的準(zhǔn)確性。對SGBM和BM兩種常見的立體匹配算法展開討論；采用Matlab及OpenCV搭建的實驗平臺，對真實場景下的物體分別進行基于SGBM算法與BM算法的三維重建。由仿真實驗結(jié)果可知：BM算法的運行效率高于SGBM算法；SGBM算法的三維重建結(jié)果比BM算法視差更連續(xù)、輪廓恢復(fù)更清晰。

SGBM算法；BM算法；雙目立體視覺；三維重建；立體匹配

0　引言

雙目立體視覺是機器視覺的重要分支，在航天航空、人臉識別、生物醫(yī)學(xué)等領(lǐng)域應(yīng)用廣泛[1]。基于雙目立體視覺的三維重建是利用雙目相機獲取具有二維信息的圖片對，再通過立體匹配算法計算得到三維結(jié)構(gòu)信息的過程。其主要工作包括5個方面：圖像采集、相機標(biāo)定、立體校正、立體匹配和三維重建。其中核心步驟為立體匹配——根據(jù)左右相機獲取的兩幅圖像，建立周圍環(huán)境中的物體在兩幅圖像間投影點的對應(yīng)關(guān)系，并由立體幾何原理計算出投影點的視差，從而得到最終的視差圖[2]。立體匹配根據(jù)匹配計算策略的不同可大致分為局部算法與全局算法2類。局部算法效率與匹配窗口大小和形狀選取有關(guān)，典型的局部算法有BM算法等；全局算法根據(jù)匹配代價計算和能量函數(shù)求取最優(yōu)解得到，典型的全局算法有動態(tài)規(guī)劃與置信傳播等。這些匹配算法都存在各自的優(yōu)缺點，而算法的選擇會影響三維場景恢復(fù)的準(zhǔn)確性和真實性。如動態(tài)規(guī)劃算法常由于極線與極線約束不夠，在重建過程中存在明顯的橫向條紋現(xiàn)象[1]。SGBM算法是動態(tài)規(guī)劃算法的優(yōu)化，保留了運算復(fù)雜度低的優(yōu)點，較好地應(yīng)用于三維重建[2]。本文利用SGBM與BM兩種典型的立體匹配算法進行三維重建，并對比分析這2種算法的優(yōu)缺點與三維重建應(yīng)用的效果。

1　三維重建基礎(chǔ)理論

1.1　雙目立體視覺原理

相機模型獲取的物體在真實世界的三維信息需關(guān)聯(lián)到4個坐標(biāo)系以及對應(yīng)的相機模型。4個坐標(biāo)系分別是世界坐標(biāo)系、相機坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系。坐標(biāo)間轉(zhuǎn)換關(guān)系如圖1所示。利用坐標(biāo)間的轉(zhuǎn)換關(guān)系可由已知的二維信息得到物體的三維坐標(biāo)信息。

圖1　坐標(biāo)間的轉(zhuǎn)換關(guān)系

雙目立體視覺系統(tǒng)中相機的放置模式有會聚式和平行式2種。本文2部相機采用平行式工作模式。該模式下的相機光軸相互平行，且在同一水平高度上，成像平面平行共面，也被稱為標(biāo)準(zhǔn)式[1]。

平行式雙目立體視覺系統(tǒng)模型如圖2所示。2部相機的參數(shù)相同：是基線；L、R分別為左右相機的光學(xué)中心，可根據(jù)左相機的位置沿著軸平移距離來定義右相機位置，因此左右相機在相機坐標(biāo)系的投影中心分別為（0,0,0）和（,0,0）；和分別為點（真實三維空間的點）在2部相機成像平面上的成像點；L和R分別對應(yīng)投影點和的像素橫坐標(biāo)；R，與三點在同一條直線上，L，與三點在同一條直線上，的位置由射線R與射線L的交點唯一確定；為焦距；是點對應(yīng)的深度，2部相機的光軸相互平行并垂直于基線。

圖2　平行式雙目立體視覺系統(tǒng)模型

通過相似三角形LR和建立深度與視差之間的關(guān)系，如式(1)所示。

通過求解得到為

1.2 圖像獲取

利用圖2模型放置的雙目相機在同一場景同時獲取多幅圖像，其中每次左右相機分別獲取的2幅圖像稱為立體圖像對。

1.3 相機標(biāo)定

相機標(biāo)定就是從世界坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系的過程，即求取最終投影矩陣的過程[2]。在實際應(yīng)用中，由于相機結(jié)構(gòu)、相機制造工藝和外部環(huán)境等因素影響，鏡頭存在不同程度的畸變。雙目立體視覺系統(tǒng)標(biāo)定就是根據(jù)2部相機的內(nèi)部參數(shù)，獲取2部相機之間的相互位置數(shù)據(jù)，利用這些數(shù)據(jù)建立空間物體點與圖像平面之間關(guān)系并進行相機畸變校正[3]。

利用圖像對中二維坐標(biāo)求得三維信息坐標(biāo)如式(3)所示。

本文使用Matlab標(biāo)定工具箱TOOLBOX_calib進行相機標(biāo)定。先通過單目標(biāo)定，分別得到左右相機的內(nèi)參數(shù).mat文件；再進行雙目標(biāo)定得到雙目相機標(biāo)定結(jié)果。其中內(nèi)外參數(shù)只隨2部相機的焦距和相對空間位置改變而變換。雙目相機與標(biāo)定板的相對位置如圖3所示。

2　SGBM算法與BM算法對比分析

立體匹配是雙目立體視覺三維重建的關(guān)鍵環(huán)節(jié)。通過空間場景中點在2個不同視角下投影點的對應(yīng)關(guān)系，找到左右圖像對中的匹配點，輸出視差圖。視差圖可直接反映場景中物體的遠(yuǎn)近，視差圖與相機標(biāo)定信息結(jié)合可完成三維重建恢復(fù)。在相同場景下，匹配算法決定了匹配結(jié)果的速度和視差圖的精確度。本文分別采用SGBM算法和BM算法進行立體匹配計算，得到2種算法的深度輸出圖并進行對比分析。

圖3　雙目相機與標(biāo)定板的相對關(guān)系

2.1　SGBM算法

SGBM算法是由Hirschmuller等人提出的半全局匹配方法，使用互信息的像素匹配，近似于全局二維平滑度約束。算法核心步驟有：匹配成本計算、成本合計、視差計算、多基線匹配和視差優(yōu)化。

1）匹配成本計算。根據(jù)圖像對中相匹配的同名像素點進行匹配成本函數(shù)計算。

2）成本合計。設(shè)置一個能量函數(shù)()來表示像素方向和平滑度約束：

3）視差計算。根據(jù)相鄰像素點、進行視差計算。通過為每個像素選擇具有最小成本的視差來獲取相對應(yīng)的視差圖像D。沿像素的對極線使用相同的成本計算確定對應(yīng)的視差圖像D。比較D，D檢測遮擋和錯誤匹配，若不滿足式(5)，則視差無效。

4）多基線匹配。通過計算基礎(chǔ)圖像和匹配圖像之間所有對應(yīng)關(guān)系的組合像素匹配成本來完成多基線匹配。

5）視差優(yōu)化。可采用峰值濾波消除異常值、選擇強度一致的視差和保留不連續(xù)性的插值[3]3種方法實現(xiàn)視差優(yōu)化。

2.2　BM算法

常規(guī)匹配算法模式串移動方向是從左到右，進行比較時也是相同的移動方向。BM算法在匹配時，比較方向與移動方向相反——從右到左。

BM算法包含好后綴算法和壞字符算法2個跳轉(zhuǎn)規(guī)則。原串為待匹配的圖像灰度數(shù)據(jù)，模式串P為用于匹配的圖像灰度模板。當(dāng)模式串和原串中的字符不匹配時，原串T中的字符就稱為壞字符。好后綴是指模式串和原串的字符相匹配時所有的字符串。

好后綴算法：模式串P與原串T已匹配了一個好后綴；若P中還有相同好后綴，則把下一個好后綴移動到當(dāng)前位置。該過程存在2種情況如圖4、圖5所示。

圖4　子串和好后綴完全匹配

圖5　不存在和好后綴完全匹配的子串

壞字符算法：當(dāng)出現(xiàn)一個壞字符時，BM算法向右移動模式串P，讓模式串P中最靠左的字符與壞字符相對，然后繼續(xù)匹配。壞字符算法也有2種情況如圖6、圖7所示。

圖6　存在對應(yīng)的壞字符

圖7　不存在壞字符

2.3　算法對比分析

利用OpenCV以及Matlab相機標(biāo)定數(shù)據(jù)完成真實場景圖像對的立體匹配：對圖8所包含的場景進行圖像預(yù)處理，得到立體校正后的圖9；然后分別對圖9進行SGBM算法和BM算法的立體匹配計算，得到的輸出深度圖如圖10、圖11所示。

通過分析立體匹配算法得到圖像的視差圖，可以根據(jù)圖中像素點的灰度值來確定該點距離相機的位置。由式(2)可知，深度值與視差成反比，灰度值較大則表示距離相機較近，即深度值小；灰度值小則表示該點距離相機較遠(yuǎn)，即深度值大。

圖8　真實三維場景圖

圖9　立體校正后的場景圖

圖10　SGBM深度圖

圖11　BM深度圖

匹配結(jié)果表明：處理速度方面，根據(jù)表1可知，BM算法較SGBM算法快；在處理效果方面，通過對圖10和圖11結(jié)果分析，BM算法深度圖輪廓模糊，信息丟失，表面粗糙，變形嚴(yán)重，處理效果較差；SGBM算法處理得到的深度圖層次分明、輪廓清晰，深度信息相對完整。由于真實場景中光線影響較大，導(dǎo)致深度信息不夠精確，視差不連續(xù)等誤匹配問題，但總體恢復(fù)效果較好。

表1　SGBM與BM運算時間

3　基于SGBM算法與BM算法的三維重建

3.1　實驗平臺搭建

基于雙目立體視覺的三維重建平臺硬件主要包括：2部CCD彩色相機、圖像采集卡、計算機、標(biāo)定板和三腳架等。軟件主要包括：圖像獲取、相機標(biāo)定、圖像校正與立體匹配和三維重建4個模塊。基于雙目立體視覺的三維重建平臺工作流程圖如圖12所示。

圖12　基于雙目立體視覺的三維重建平臺工作流程圖

1）圖像獲取。選取放置標(biāo)定板或重建物體的合適位置與環(huán)境；調(diào)整雙目相機焦距與基線；運行OpenCV相應(yīng)程序代碼進行圖像對的獲取并將其保存在根目錄。

2）相機標(biāo)定。將獲取的圖像對信息導(dǎo)入至Matlab標(biāo)定工具箱TOOLBOX_calib，完成相機標(biāo)定工作。

3）圖像校正與立體匹配。將相機標(biāo)定數(shù)據(jù)輸入OpenCV中，對圖像對進行立體校正后，運行SGBM或BM算法得到深度視差圖。

4）在Matlab工作環(huán)境下，利用深度圖進行三維點云計算和視差融合得到三維重建結(jié)果。

3.2　實驗結(jié)果分析

圖10與圖11為物體的三維世界坐標(biāo)點集，若將這些三維坐標(biāo)點集圖直接用于三維重建中，復(fù)原的物體會出現(xiàn)較多的分割間斷區(qū)域，影響物體整體性[3]。

本文采用Matlab進行三角測量，對深度圖進行均勻取點計算得到三維點云圖，再進行視差融合得到三維重建模型，如圖13、圖14所示。

圖13　基于SGBM算法的三維重建

圖14　基于BM算法的三維重建

圖13和圖14為真實場景下進行三維重建的效果圖，圖中重建位置分別代表場景在世界坐標(biāo)系下軸、軸和軸方向的坐標(biāo)值。對比分析圖13和圖14可知，基于BM算法的三維重建復(fù)原圖由于立體匹配后的深度圖不夠平滑，深度跳躍較大，導(dǎo)致重建效果誤差較大，三維重建場景位置深度信息缺失，不夠逼真；基于SGBM算法的三維重建效果更加平滑，深度信息復(fù)原完整，有較為明顯的三維效果，然而由于弱紋理和光照等外界影響下導(dǎo)致視差不夠連續(xù)、三維重建準(zhǔn)確率降低。若想達(dá)到更加逼真準(zhǔn)確的重建效果，在三維重建方法選用、場景紋理、遮擋以及光強變化等方面應(yīng)進行更加深入研究。

4　結(jié)論

本文利用基于Matlab和OpenCV的雙目立體視覺三維平臺，完成了從圖像采集、相機標(biāo)定、立體校正與立體匹配到三維重建的真實場景恢復(fù)。通過圖像數(shù)據(jù)信息可知，BM算法運算效率較高但誤匹配度也較高，重建結(jié)果存在視差不連續(xù)、不逼真等問題，因此推斷其適用于匹配精度要求不高，但匹配處理速度較快的應(yīng)用領(lǐng)域；SGBM運算效率和匹配精度較高，重建效果相比BM算法視差較平滑、信息完整、較逼真，其適用于處理精度要求較高，處理效率較快的應(yīng)用領(lǐng)域。因此可根據(jù)不同的應(yīng)用領(lǐng)域需求使用合適立體匹配算法，實現(xiàn)其在領(lǐng)域的高效應(yīng)用。

[1] 杜若霞.基于雙目立體視覺的三維重建[D].邯鄲:河北工程大學(xué),2018.

[2] 郭永彩,魏朋玉,高潮.采用多級動態(tài)規(guī)劃實現(xiàn)立體匹配[J].光學(xué)精密工程,2009,17(7):1745-1751.

[3] 俞力.雙目視覺中立體匹配算法研究[D].武漢:武漢理工大學(xué),2018.

[4] 陽蘭.雙目視覺三維重建中特征匹配算法研究[D].南寧:廣西大學(xué),2018.

[5] 張如如,葛廣英,申哲,等.基于雙目立體視覺的三維重建方法[J].揚州大學(xué)學(xué)報(自然科學(xué)版),2018,21(3):5-10.

[6] 張歡,安利,張強,等.SGBM算法與BM算法分析研究[J].測繪與空間地理信息,2016,39(10):214-216.

[7] 宋春華,彭泫知.機器視覺研究與發(fā)展綜述[J].裝備制造技術(shù),2019(6):213-216.

[8] 王先節(jié),趙立宏.基于MATLAB和Opencv的雙目視覺系統(tǒng)研究[J].數(shù)字通信世界,2019(2):46-47.

[9] Klette R . Concise Computer Vision - An Introduction into Theory and Algorithms[M]. Springer Publishing Company, Incorporated, London, 2014.

[10] Cyganek B . An Introduction to 3D Computer Vision Techniques and Algorithms[M]. John Wiley & Sons, 2009.

3D Reconstruction Analysis Based on SGBM Algorithm and BM Algorithm

Li Xianxiang1Chen Siqi1Xiao Hongjun1Huang Daoping2

(1. Foshan University 2. South China University of Technology)

Stereo matching is an important part of binocular stereoscopic 3D reconstruction. The choice of algorithm will directly affect the matching efficiency and the accuracy of reconstruction results. Aiming at this problem, this paper discusses two common stereo matching algorithms, SGBM and BM. Under the experimental platform built by MTALAB and OpenCV, the three-dimensional reconstruction based on SGBM algorithm and BM algorithm is performed on the objects in real scene. It can be seen from the simulation results that the running efficiency of the BM algorithm is higher than that of the SGBM algorithm, but the SGBM algorithm is more continuous and clearer in contour recovery than the BM algorithm in the 3D reconstruction results.

SGBM Algorithm; BM Algorithm; Binocular Stereo Vision; 3D Reconstruction；Stereo Matching

李先祥，男，1965年生，碩士生導(dǎo)師，教授，主要研究方向：電力電子與運動控制。

陳思琪，女，1995年生，碩士研究生，主要研究方向：圖像處理與智能檢測。E-mail: 1216731296@qq.com