基于稠密匹配的單目立體視圖生成

王連兵，葉 兵，馬偉東

(合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院，安徽 合肥 230009)

3D顯示技術(shù)，因與傳統(tǒng)二維視頻圖像相比能夠給出目標(biāo)的深度信息更加符合人的視覺特性，而備受關(guān)注。當(dāng)前常見三維圖像源的獲取技術(shù)主要有雙目[1]與單目[2]之分，雙目立體圖像獲取技術(shù)通過立體標(biāo)定過的兩架相機(jī)即可得到立體觀察圖像，實(shí)現(xiàn)簡單；相對(duì)單目立體圖像獲取技術(shù)就需要添加特殊制定的器材或算法才能得到雙目觀察圖像。但當(dāng)三維圖像獲取技術(shù)在一些特定環(huán)境如水下機(jī)器人，小尺寸內(nèi)窺鏡等中應(yīng)用時(shí)，單目的實(shí)現(xiàn)方式在尺寸、重量、便攜等方面較之雙目有很大優(yōu)勢。

在單目立體視覺方面，Deepu等[3]通過建立相機(jī)的離焦模型，從單相機(jī)圖像中自動(dòng)生成立體視覺圖像中的第二幅圖像。Logothetis等[4]提出新的半校準(zhǔn)近場光度立體技術(shù)，在光源位置已知，亮度未知的環(huán)境下重構(gòu)了目標(biāo)三維表面。Zhou等[5]通過根據(jù)內(nèi)窺鏡序列圖像間成功匹配的特征點(diǎn)間的視差，對(duì)未匹配點(diǎn)進(jìn)行線性插值的方式獲得稠密視差，并在三維重建后，重投影得到了立體視覺圖像。楊軍等[6]使用單目序列圖像間的最佳匹配點(diǎn)集，通過擴(kuò)展稀疏點(diǎn)云的方式對(duì)目標(biāo)物體進(jìn)行三維表面重建。在稠密匹配方面，李彬彬等[7]用圖割法優(yōu)化基于置信度傳播的稠密匹配策略，提高了底紋理區(qū)域和遮擋區(qū)域匹配。程思培[8]等提出一種基于金字塔分層雙向動(dòng)態(tài)規(guī)劃的立體匹配算法，降低了金典動(dòng)態(tài)匹配算法中橫向條紋的產(chǎn)生，同時(shí)提高了邊緣和弱紋理區(qū)域的匹配性能。Tatsunori Taniai等[9]結(jié)合馬爾可夫隨機(jī)場對(duì)中傾斜平面匹配算法[10]和曲率正則方法[11]提出圖割法[12-13]優(yōu)化的區(qū)域擴(kuò)展運(yùn)動(dòng)(Local Expansion Moves, LocalExp)立體匹配方法，能夠得到精確的平滑分區(qū)視差圖。

本文假設(shè)平滑運(yùn)動(dòng)中相機(jī)獲得的相鄰圖像之間的視場與視角均存在一定的變化，但差別不大，此時(shí)可近似將相鄰或相近的具有一定差別的圖像對(duì)看作雙目視覺中的立體圖像對(duì)，經(jīng)過相應(yīng)立體矯正后即為雙目立體視圖，但此時(shí)雙目立體圖像對(duì)的基線長度會(huì)隨相機(jī)的運(yùn)動(dòng)狀態(tài)的改變而改變，不能直接用以人眼觀察。為此本文結(jié)合已知初始環(huán)境下的同步定位與建圖(Simultaneous Localization And Mapping， SLAM)[14-15]技術(shù)定位出相機(jī)的運(yùn)動(dòng)軌跡，同時(shí)根據(jù)校正后圖像對(duì)的稠密匹配結(jié)果生成在物理空間中相對(duì)目標(biāo)視圖固定位置的虛擬相機(jī)圖像。

基于上述構(gòu)想，本文的主要內(nèi)容可分為相機(jī)位置求取、稠密匹配和視圖重建三個(gè)部分。相機(jī)位置求取部分，本文運(yùn)用尺度不變特征轉(zhuǎn)換匹配算法 (Scale-invariant feature transform, SIFT)[16]將每幅圖像的最優(yōu)SIFT特征匹配集及其對(duì)應(yīng)物點(diǎn)作為相機(jī)運(yùn)動(dòng)中的標(biāo)志。在稠密匹配部分，本文采用三維平面參數(shù)約束的視差平面區(qū)域擴(kuò)展算法，提高匹配算法的不同場景的適應(yīng)性，本文將SIFT特征匹配點(diǎn)作為視差平面區(qū)域增長的種子點(diǎn)，并以此作為視差優(yōu)化的限制條件。在視圖重建部分，本文應(yīng)用雙目視覺模型，重投影出假定的虛擬相機(jī)圖像。

1 基于SIFT的相機(jī)位置定位原理

由于SIFT特征匹配具有旋轉(zhuǎn)不變、放縮不變、較強(qiáng)的穩(wěn)定性，且生成的匹配對(duì)多，對(duì)光照變化不敏感，特征點(diǎn)的利用率高等特性，能夠?yàn)閿z像機(jī)位置的求取提供更佳穩(wěn)定數(shù)據(jù)基礎(chǔ)，更利于視角重建算法得出穩(wěn)定、準(zhǔn)確的結(jié)果[17]。單目SIFT-SLAM相機(jī)定位算法的流程如圖1所示。

單目SIFT-SLAM相機(jī)定位算法的具體流程為：

(1)相機(jī)內(nèi)部參數(shù)的預(yù)求取；通過張正友教授的棋盤標(biāo)定法對(duì)攝像頭的內(nèi)部參數(shù)進(jìn)行標(biāo)定，其中相機(jī)的畸變參數(shù)用以對(duì)每一幀圖像進(jìn)行畸變校正，相機(jī)的特征參數(shù)則為三維重建及視角重建使用。對(duì)圖像進(jìn)行必要的高斯濾波，減小噪聲影響。

(2)特征點(diǎn)提取與匹配；采用SIFT算法進(jìn)行特征提取與描述，即從高斯尺度空間中獲得具有尺度和旋轉(zhuǎn)不變特征點(diǎn)，根據(jù)其相應(yīng)領(lǐng)域梯度信息生成歸一化的128維特征描述向量[18]；進(jìn)行當(dāng)前幀特征點(diǎn)與特征點(diǎn)庫中的特征點(diǎn)匹配，得到特征匹配對(duì)。

圖1 單目SIFT-SLAM相機(jī)定位算法

(3)攝像機(jī)位置恢復(fù)；通過特征匹配對(duì)，實(shí)現(xiàn)了當(dāng)前幀圖像特征點(diǎn)與特征點(diǎn)三維坐標(biāo)庫中三維坐標(biāo)的對(duì)應(yīng)關(guān)系，再依據(jù)相機(jī)投影模型，恢復(fù)攝像機(jī)的位置、姿態(tài)。

(4)更新特征點(diǎn)參數(shù)；運(yùn)用三維重建技術(shù)對(duì)已經(jīng)得到的信息進(jìn)行重建工作，即可得到新的特征點(diǎn)三維坐標(biāo)信息，并更新特征三維坐標(biāo)庫，同時(shí)用匹配對(duì)更新特征點(diǎn)庫。

(5)對(duì)每一幀重復(fù)上述步驟，實(shí)現(xiàn)對(duì)攝像機(jī)三維空間位置的不斷更新。

該相機(jī)定位算法實(shí)現(xiàn)了攝像機(jī)的三維坐標(biāo)的求取，為視角重建提供物理尺寸上的參照。

2 種子區(qū)域擴(kuò)展的稠密匹配

2.1 三維視差平面的全局能量函數(shù)

E(f)=∑p∈Ωφp(fp)+λ∑(p,q)∈Ωψpq(fp,fq)

(1)

式中，第一項(xiàng)為數(shù)據(jù)項(xiàng)，用來衡量匹配像素間的圖像一致性，視差平面fp定義了一個(gè)從像素p到另一圖像中對(duì)應(yīng)點(diǎn)的非線性映射。第二項(xiàng)為平滑項(xiàng)，用以描述相鄰像素對(duì)(p,q)N間視差信息的約束關(guān)系。

能量函數(shù)中的數(shù)據(jù)項(xiàng)可定義為：

φp(fp)=∑s∈Wpωpsρ(s|fp)

(2)

其中，Wp像素p為中心的方形窗；ps適應(yīng)窗口權(quán)重，該權(quán)重本文采用引導(dǎo)圖像濾波器，用式(3)描述。

(∑K+e)-1(IS-μK))

(3)

式(3)中，IP=IL(p)/255，是一個(gè)歸一化的色彩向量；μk和k分別是局部回歸窗口W’k中灰度矩陣Ip的均值和協(xié)方差；e是為避免過度擬合的單位陣。

給定視差平面fp=(ap,bp,cp)，式(2)中的(s|fp)是衡量窗口W中支撐像素s=(sμ,sν)與其在右圖中匹配點(diǎn)s′之間的差異，且有：

s′=s-(apsμ+bpsν+cp,0)

(4)

ρ(s|fp)=(1-α)min(‖IL(s)-IR(s′)‖1,τcol)+αmin(|xIL(s)-xIR(s′)|,τgrad)

(5)

能量函數(shù)中的平滑項(xiàng)定義為式(6)：

(6)

式(6)中，ωpq是對(duì)比度敏感度權(quán)重，定義為式(7)：

ωpq=e-‖IL(p)-IL(q)‖1/γ

(7)

(8)

式(8)中，dp(fq)=aqpμ+bqpν+cq。式中，第一項(xiàng)用fp和fq在p點(diǎn)視差之差衡量它們之間的差異，而第二項(xiàng)表示它們之間的相似性。

2.2 圖割法優(yōu)化的種子區(qū)域增長原則

本文中的區(qū)域分割采用的固定窗口大小的全圖分割，首先將全圖劃分為若干5×5的單元格，在對(duì)每個(gè)單元格建立3×3八鄰域單元格區(qū)域的視差共享區(qū)域。對(duì)于單元格其視差平面的優(yōu)化過程一共有三個(gè)：

過程1：初始化視差平面：根據(jù)單元格中已知的的視差數(shù)據(jù)結(jié)合擾動(dòng)量，隨機(jī)產(chǎn)生視差平面，并經(jīng)行塊內(nèi)圖割法優(yōu)化賦值；

過程2：單元格內(nèi)視差優(yōu)化：根據(jù)循環(huán)次數(shù)和視差范圍產(chǎn)生修正量，確定新的視差平面，使用圖割法優(yōu)化塊內(nèi)視差平面的更新范圍；

過程3：共享區(qū)域內(nèi)視差共享：從單元格內(nèi)隨機(jī)選取視差平面，依據(jù)圖割法優(yōu)化平面視差更新范圍。

上述三個(gè)過程中，只有具有特征匹配對(duì)的單元格才會(huì)執(zhí)行過程1，即初始化視差平面的過程，并在該過程就結(jié)束時(shí)，將隨機(jī)選取視差平面?zhèn)鬟f給視差共享區(qū)域，對(duì)于不具有特征匹配點(diǎn)的單元格，只能根據(jù)從其他單元格共享的視差平面進(jìn)行視差優(yōu)化的后續(xù)過程2、3。本文通過上述三個(gè)視差優(yōu)化過程，將全圖能量函數(shù)的優(yōu)化求解轉(zhuǎn)化為每個(gè)單元與其視差共享區(qū)域內(nèi)的能量函數(shù)最優(yōu)化問題。

本文基于種子區(qū)域擴(kuò)展的稠密匹配算法的具體步驟如下：

(1)對(duì)做圖像進(jìn)行單元格分割；

(2)具有特征匹配對(duì)的單元格執(zhí)行過程1，初始化視差平面；

(3)循環(huán)，每個(gè)單元格順序執(zhí)行過程2，3，求解全局能量函數(shù)最優(yōu)的視差組合；

(4)根據(jù)全圖視差平面，求解稠密視差。

3 視圖重建

雙目立體視覺模型中兩相機(jī)的像平面平行，右相機(jī)xr軸位于左相機(jī)xl軸延長線上，使得兩幅圖像的對(duì)極線恰好在同一水平線上，由圖2看出，空間點(diǎn)在兩相機(jī)中投影點(diǎn)xl和xr只在水平x軸方向存在視差d。很容易得到：

(9)

其中B是立體相機(jī)基線長度，fl=fr是左右相機(jī)的焦距。

圖2 雙目視覺模型

為應(yīng)用雙目視覺模型，獲得假定中虛擬相機(jī)的圖像，本文利用稠密視差數(shù)據(jù)，使用三角測量法獲得目標(biāo)相機(jī)圖像所有像素對(duì)應(yīng)的空間點(diǎn)坐標(biāo)P(x,y,z)，利用雙目立體視覺的視差公式(9)，可計(jì)算得到目標(biāo)相機(jī)(本文設(shè)為左相機(jī))像素xl在虛擬相機(jī)成像平面上的對(duì)應(yīng)點(diǎn)xr，此時(shí)xr并未整好落在像素點(diǎn)上，虛擬相機(jī)像素點(diǎn)ur的具體灰度值難以確定。為此，本文根據(jù)xlxr的一一映射，建立反向urxl的一對(duì)多映射，取ur對(duì)應(yīng)多點(diǎn)xl的平均值。

4 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文算法，本文使用焦距為6 mm，視場角為60°，分辨率為640×480的攝像拍攝自行搭建的真實(shí)實(shí)驗(yàn)環(huán)境，如圖3所示。本文算法的運(yùn)行環(huán)境為：Windows7 64系統(tǒng)，Intel Core i5主頻2.6 GHz；在Visual Studio2017編譯平臺(tái)下，基于Opencv3.1.0，使用C++語言實(shí)現(xiàn)。

在虛擬相機(jī)視圖的投影試驗(yàn)中，使用三張相機(jī)在特定位置時(shí)拍攝的圖像模擬相機(jī)移動(dòng)過程中的拍攝圖像，圖3中a，b，c三張圖像分別為相機(jī)順序左移移動(dòng)5 mm時(shí)拍攝的圖像。本文的驗(yàn)證策略為：設(shè)圖像a和b間的位移幅值T0= 5 mm，算法通過T0計(jì)算圖像b、c間的位移T1，并通過對(duì)b、c進(jìn)行稠密匹配后的視差數(shù)據(jù)，對(duì)圖像c進(jìn)行虛擬相機(jī)投影。試驗(yàn)中為方便對(duì)比，將虛擬相機(jī)位置設(shè)置為圖像b對(duì)應(yīng)的相機(jī)位置，即圖像c右側(cè)5 mm處。在本文場景中參數(shù)的設(shè)置為：數(shù)據(jù)項(xiàng)中e= 2.5，α= 0.85，col= 7.0，grad= 2.0；平滑項(xiàng)中λ=10，= 15，= 0.01，dis= 0.5。

圖3 實(shí)驗(yàn)場景

通過算法計(jì)算得到的T1的模值為4.59 mm，由于實(shí)驗(yàn)并未在工作臺(tái)上進(jìn)行，該誤差在目測誤差范圍之內(nèi)。為加速匹配與算法的魯棒性，稠密匹配前需先對(duì)圖像b、c進(jìn)行立體校正，圖5中圖像a、c分別對(duì)應(yīng)b、c的校正結(jié)果。圖4為稠密匹配算法的稠密匹配結(jié)果。

從圖中可以看出，對(duì)強(qiáng)紋理部分具有很強(qiáng)魯棒性，表面接觸區(qū)域視差傳遞良好，但是算法仍存在傾斜面匹配中的階梯視差情況，且對(duì)于跳躍視差區(qū)域存在明顯的過平滑。圖5中圖像b為最終重建的虛擬相機(jī)圖像，與原圖a相比，存在明顯的視場變化，對(duì)比相應(yīng)實(shí)際視圖可以看到兩圖中的直線的傾斜角度幾乎一致，表明虛擬視角已經(jīng)很接近實(shí)際校正圖像；另外虛擬視圖像素有實(shí)際視圖像素間存在一定的整體偏移，初步分析是由于實(shí)驗(yàn)中位移測量、計(jì)算中的誤差及部分投影誤差所致。

圖4 圖像b、c的稠密視差圖

圖5 校正后視圖和重建虛擬視圖

5 小結(jié)

基于相機(jī)運(yùn)動(dòng)過程中視角與視場小幅度變化假設(shè)，本文提出了結(jié)合SLAM與圖割法優(yōu)化的種子區(qū)域擴(kuò)展的稠密匹配技術(shù)獲取單目立體視圖的算法。實(shí)驗(yàn)驗(yàn)證表明運(yùn)用基于SIFT的SLAM位置求取定位模塊能夠在初始位置已知的情況下給出相機(jī)的位移信息，同時(shí)基于種子區(qū)域擴(kuò)張的稠密匹配算法，在高紋理和視差連續(xù)區(qū)域具有較強(qiáng)魯棒性，并成功從單目相機(jī)的序列圖像重投影得到了假定位置處具有較小影像畸形和缺失的虛擬相機(jī)視圖。