基于改進(jìn)SIFT立體匹配算法的雙目三維重建研究*

童 欣，殷晨波，杜雪雪，馬 偉

(南京工業(yè)大學(xué) 機(jī)械與動(dòng)力工程學(xué)院，江蘇 南京 211800)

0 引言

基于雙目的三維重建技術(shù)是立體視覺的一種重要實(shí)現(xiàn)方式，它基于仿生學(xué)原理，模擬人的雙眼效應(yīng)，利用兩臺(tái)位置固定而且參數(shù)相同的CCD攝像機(jī)獲取同一景物的兩幅圖像[1]，使用立體匹配算法計(jì)算獲得圖像特征點(diǎn)對(duì)，并通過視差計(jì)算最終獲取物體深度信息。雙目立體視覺是被動(dòng)獲取被測(cè)物體深度信息的有效方法，由于其可以直接通過算法完成三維重建，且具有很強(qiáng)的適應(yīng)性，因此近些年獲得了廣泛的關(guān)注。

立體匹配是雙目立體視覺從平面圖像中恢復(fù)立體信息過程中的關(guān)鍵技術(shù)。近年來，隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步，雙目立體匹配技術(shù)得到了長足發(fā)展。得益于雙目立體匹配算法的速度與精度不斷提高，以雙目三維重建技術(shù)為主的立體視覺技術(shù)的應(yīng)用場(chǎng)景進(jìn)一步擴(kuò)大，并已廣泛應(yīng)用于工業(yè)生產(chǎn)、自動(dòng)化流水線、智能駕駛汽車、智能手機(jī)、移動(dòng)支付和安全識(shí)別等領(lǐng)域[2]。盡管雙目立體匹配的應(yīng)用越來越廣泛，但是仍然存在很多未解決的技術(shù)難題。這是由于雙目立體匹配是一種過程性問題，在實(shí)驗(yàn)過程中其精度與速度變化的原因很難確定[3]。截至目前，還沒有一種算法可以完美地對(duì)復(fù)雜立體匹配的整個(gè)流程進(jìn)行處理，為此,本文提出一種改進(jìn)SIFT立體匹配算法，主要針對(duì)雙目匹配中圖像視差計(jì)算和圖像像素匹配效率低這一問題進(jìn)行改進(jìn)。

1 雙目視覺

雙目立體視覺算法是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差來獲取物體三維幾何信息的方法。

1.1 雙目測(cè)距原理

雙目攝像頭能夠測(cè)量物體到攝像頭之間的距離，這是因?yàn)閮蓚€(gè)攝像頭在拍攝物體時(shí)分別與物體存在一定的夾角，雙目立體視覺算法可以根據(jù)夾角的數(shù)學(xué)關(guān)系推算物體與兩攝像頭之間的距離[4]。兩臺(tái)經(jīng)過標(biāo)定的攝像機(jī)在不同視角下同時(shí)獲得被拍攝物體的圖像或視頻，用于恢復(fù)幾何信息并重建其3D輪廓。雙目測(cè)距的原理如圖1所示。

圖1 雙目測(cè)距原理

圖1中，Cl和Cr分別為左、右兩個(gè)攝像頭感光元件的中心，Pl和Pr分別為空間中任意的一點(diǎn)P在左、右相機(jī)成像平面上的投影點(diǎn),Pl和Pr點(diǎn)所在的水平實(shí)線代表雙目相機(jī)的成像平面，L為左、右兩個(gè)攝像頭感光元件中心的距離，f為感光元件到成像平面的距離，即焦距。假設(shè)分別以左、右兩側(cè)的攝像頭光軸為Z軸，成像平面為X軸建立如圖1所示的坐標(biāo)系，則Pl和Pr的橫坐標(biāo)分別是Xl和Xr。從圖1可以看出,△PPlPr∽△PClCr，根據(jù)三角形相似原理則有：

(1)

1.2 相機(jī)標(biāo)定

本文采用以張定友標(biāo)定法編寫的OpenCV自帶的相機(jī)標(biāo)定算法對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定。該方法采用棋盤格作為標(biāo)定模板，從3個(gè)以上不同的角度拍攝一組標(biāo)定模板的圖像即可對(duì)相機(jī)進(jìn)行標(biāo)定。在拍攝的過程中，只需要固定攝像機(jī)或模板任意一方，而不需要對(duì)攝像機(jī)或者被拍攝物體的運(yùn)動(dòng)參數(shù)進(jìn)行求解。同時(shí)，張氏標(biāo)定法假定攝像機(jī)的內(nèi)部參數(shù)不變，只有外部參數(shù)發(fā)生變化。

使用OpenCV自帶的Calibration文件在編譯前需要設(shè)置一些基本參數(shù)：棋盤的高W,本文設(shè)置為6個(gè)黑白交界點(diǎn)；棋盤的長h,本文設(shè)置為8個(gè)黑白交界；棋盤格單個(gè)格子的長度s本文設(shè)置為2 mm。在進(jìn)行具體標(biāo)定操作時(shí)，標(biāo)定板中棋盤格的長和高的個(gè)數(shù)需要確定，否則標(biāo)定程序無法識(shí)別出相應(yīng)的角點(diǎn)。

經(jīng)過標(biāo)定最終可以得到雙目相機(jī)的內(nèi)、外參數(shù)，分別包括單目標(biāo)定后的內(nèi)參矩陣、外參矩陣和畸變參數(shù)。經(jīng)標(biāo)定后的參數(shù)如表1所示。

表1 標(biāo)定好的左、右相機(jī)參數(shù)

2 改進(jìn)的立體匹配算法

雙目立體匹配可以理解為尋找世界坐標(biāo)系中同一個(gè)點(diǎn)在左、右兩幅圖片中像素點(diǎn)的坐標(biāo),這是由于雙目立體匹配是一種過程性問題，在實(shí)驗(yàn)過程中其精度與速度變化的原因很難確定。截至目前，還沒有一種算法可以完美地對(duì)復(fù)雜立體匹配的整個(gè)流程進(jìn)行處理，本文提出一種主要針對(duì)雙目匹配中圖像視差計(jì)算和圖像像素匹配效率低這一問題的改進(jìn)算法。

2.1 經(jīng)典的SIFT算法

在進(jìn)行目標(biāo)圖片和源圖片之間的特征匹配之前，檢測(cè)出各自的特征并使用相應(yīng)的特征描述子表示特征是非常重要的環(huán)節(jié)。檢測(cè)算子是計(jì)算機(jī)視覺領(lǐng)域用于特征檢測(cè)、描述和提取的綜合算子,目前圖像特征的檢測(cè)算子有很多，不同的檢測(cè)算子應(yīng)用場(chǎng)景和性能也不相同，在實(shí)際運(yùn)用中找到合適的檢測(cè)算子是非常重要的。因此在研究三維重建的立體匹配算法時(shí)，采用了經(jīng)典的SIFT算法進(jìn)行圖像的特征檢測(cè)和匹配。

SURF、SIFT、ORB、FAST和Harris角點(diǎn)都是最常用的檢測(cè)算法[5]。SURF算法相比于SIFT算法，其特征點(diǎn)的檢測(cè)速度提升的很快，因此在大多數(shù)實(shí)時(shí)視頻等流媒體的匹配上有著很廣泛的應(yīng)用。SIFT算法特征匹配的精度很高，所以其特征匹配的計(jì)算量也巨大，這使得雙目匹配的過程花費(fèi)時(shí)間相比SURF算法長很多，為此在一些需要實(shí)時(shí)處理的應(yīng)用場(chǎng)景下SIFT應(yīng)用較少。綜上所述，SIFT算法檢測(cè)的特征點(diǎn)更加精確，SURF算法檢測(cè)的特征點(diǎn)速度更快，因此，在匹配精度要求較高且不考慮匹配速度的場(chǎng)合使用SIFT算法。經(jīng)典的SIFT算法流程如圖2所示。

圖2 經(jīng)典的SIFT算法流程

經(jīng)典的SIFT算法中使用了高斯函數(shù)作為尺度空間表達(dá)的卷積算子，其計(jì)算公式如下：

(2)

2.2 自適應(yīng)模糊引入

由于經(jīng)典的SIFT算子在特征檢測(cè)時(shí)使用了二維高斯函數(shù)作為尺度空間表達(dá)的卷積算子，極大地降低了計(jì)算速度，嚴(yán)重影響了計(jì)算效率。高斯函數(shù)本身是一種指數(shù)函數(shù)，實(shí)際計(jì)算時(shí)對(duì)計(jì)算資源消耗較大，不能滿足三維重建的實(shí)時(shí)性要求。為此結(jié)合SIFT立體匹配算法的步驟，將經(jīng)典的SIFT算子中高斯模糊改成自適應(yīng)模糊,其關(guān)鍵在于使用一種較小的平均加權(quán)模板與源圖像進(jìn)行迭代卷積[6]，每次迭代時(shí)自適應(yīng)地改變各像素加權(quán)系數(shù)，以替代在SIFT匹配算法中的高斯模糊。設(shè)f(x,y)為輸入圖像，則一次迭代的計(jì)算步驟如下：

(1)梯度分量Gx(x,y)、Gy(x,y)的確定。梯度分量Gx(x,y)、Gy(x,y)由式(3)、式(4)計(jì)算:

(3)

(4)

(2)模板系數(shù)的確定。模板系數(shù)由公式(5)計(jì)算:

(5)

其中：k為參數(shù)，在計(jì)算之前需要設(shè)定，其大小對(duì)保留的突變邊緣幅值進(jìn)行了約束，本文k取值為10。

(3)對(duì)圖像進(jìn)行加權(quán)平均。使用公式(6)對(duì)圖像進(jìn)行加權(quán)平均：

(6)

其中：n為迭代次數(shù)，本文取為5。

3 實(shí)驗(yàn)結(jié)果與分析

通過使用不同的算法對(duì)左、右視角的圖片進(jìn)行特征點(diǎn)匹配處理，獲得的圖片如圖3所示。由圖3可以看出：處理的效果差別并不大，完成三維重建過程的經(jīng)典SIFT算法的匹配率在89%左右，而改進(jìn)之后的算法匹配率在91%左右，符合實(shí)驗(yàn)的要求。

圖3 經(jīng)典SIFT算法和本文算法處理圖片的結(jié)果

經(jīng)典SIFT算法和本文改進(jìn)算法對(duì)不同分辨率圖片進(jìn)行特征匹配的運(yùn)行時(shí)間對(duì)比如圖4所示。

由圖4可以看出：相比于經(jīng)典的SIFT算法，本文的算法所花費(fèi)的時(shí)間較少；隨著分辨率的提高，兩種算法所用時(shí)間不斷增大，改進(jìn)的算法所花費(fèi)時(shí)間比經(jīng)典SIFT算法也越來越少。由此可見，改進(jìn)后的SIFT算法可以有效地降低雙目立體匹配的運(yùn)行時(shí)間。

圖4 經(jīng)典SIFT算法和本文改進(jìn)算法花費(fèi)時(shí)間對(duì)比

4 結(jié)語

本文針對(duì)在雙目三維重建視覺匹配中圖像視差計(jì)算和圖像像素匹配效率低的問題，對(duì)已有立體匹配SIFT算法進(jìn)行改進(jìn)。實(shí)驗(yàn)表明：改進(jìn)后的算法有效降低了雙目立體匹配的運(yùn)行時(shí)間，并為今后的雙目三維重建工作提供了基礎(chǔ)。