基于模糊邏輯的多尺度小基高比立體匹配方法

馬寧，門宇博，李香，門朝光(.哈爾濱工程大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱，5000；2.哈爾濱師范大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，黑龍江 哈爾濱，5000)

基于模糊邏輯的多尺度小基高比立體匹配方法

馬寧1,2，門宇博1，李香1，門朝光1
(1.哈爾濱工程大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱，150001；
2.哈爾濱師范大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，黑龍江 哈爾濱，150001)

針對(duì)小基高比立體匹配中的輻射差異和深度精度問題，提出一種小基高比立體匹配方法。該方法首先通過小波變換對(duì)立體圖像構(gòu)建多尺度空間，然后利用HSL色彩模式下的模糊邏輯相似性測(cè)度函數(shù)和十字支撐臂自適應(yīng)窗口技術(shù)獲取初始匹配成本，再依據(jù)“勝者全取”策略計(jì)算整數(shù)級(jí)視差，最后以整數(shù)級(jí)視差為基礎(chǔ)利用基于迭代相位相關(guān)法的亞像素匹配方法計(jì)算亞像素級(jí)視差圖。研究結(jié)果表明：該立體匹配算法克服了小基高比匹配中的輻射差異問題，同時(shí)獲得了高精度亞像素級(jí)視差，其亞像素精度高于1/20個(gè)像素。

立體匹配；小基高比；自適應(yīng)窗口；模糊邏輯；亞像素視差

立體匹配是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，它利用不同視角下圖像的視差，根據(jù)三角測(cè)量原理獲取場(chǎng)景三維信息。基高比是指攝影基線長(zhǎng)度與攝像機(jī)高度的比值，根據(jù)基高比的差異可將匹配方法分為大基高比立體匹配方法和小基高比立體匹配方法。按文獻(xiàn)[1]的分類標(biāo)準(zhǔn)，大基高比立體匹配方法又可分為局部匹配和全局匹配。局部方法以自適應(yīng)權(quán)重[2]和自適應(yīng)窗口[3]為代表算法，具有較高的準(zhǔn)確率和效率。全局方法利用動(dòng)態(tài)規(guī)劃(dynamic programming,DP)[4]、置信傳播(belief propagation, BP)[5]和圖割(graph cut,GC)[6]等算法將匹配問題轉(zhuǎn)為求解能量最優(yōu)化問題，可獲得更高質(zhì)量的視差結(jié)果。大基高比圖像存在較大遮擋和幾何畸變等不利因素影響相關(guān)匹配，為減弱上述不利因素對(duì)匹配的影像，小基高比立體匹配技術(shù)應(yīng)運(yùn)而生。小基高比圖像具有視角變化小，遮擋少、幾何畸變和陰影變化不明顯等優(yōu)點(diǎn)，但小基高比會(huì)造成深度精度的損失，因此，在小基高比立體匹配中視差的量測(cè)精度必須達(dá)到亞像素級(jí)別以彌補(bǔ)這部分損失。DELON 等[7]提出小基高比立體匹配方法，該方法通過概率密度函數(shù)自適應(yīng)調(diào)節(jié)支撐窗口保障了匹配的準(zhǔn)確率，但由于相似性度量采用基于灰度的規(guī)范化互相關(guān)方式，該方法在輻射差異條件下誤差較高，另外形狀單一的支撐窗口導(dǎo)致前景物體邊界膨脹；門朝光等[8]提出基于迭代傳播的小基高比匹配法，該算法通過求解相關(guān)基本等式減少了文獻(xiàn)[7]中存在的膨脹現(xiàn)象；范大昭等[9-10]提出基于相位相關(guān)的小基高比匹配算法獲得了較高的視差精度，但側(cè)重于研究靶標(biāo)的亞像素視差，沒有對(duì)稠密匹配模式進(jìn)行探究。為有效解決小基高比立體匹配中輻射差異問題，同時(shí)獲得高精度稠密的亞像素級(jí)視差圖，本文作者提出一種基于模糊邏輯的多尺度小基高比立體匹配方法。該方法通過將模糊邏輯相似性測(cè)度函數(shù)和自適應(yīng)窗口技術(shù)相結(jié)合以解決輻射差異條件下的立體匹配問題，同時(shí)為克服小基高比對(duì)深度精度的影響，采用一種基于迭代相位相關(guān)法的亞像素級(jí)匹配方法計(jì)算高精度的亞像素級(jí)視差圖。

1　算法框架

本文提出的基于模糊邏輯的多尺度小基高比立體匹配方法處理的是經(jīng)過極線校正的立體圖像，并最終輸出稠密的亞像素級(jí)視差圖。該方法首先通過小波變換為立體圖像構(gòu)建多尺度空間，再根據(jù)HSL色彩模式下的模糊邏輯相似性測(cè)度函數(shù)和自適應(yīng)窗口技術(shù)獲取初始匹配成本，然后利用“勝者全取”策略計(jì)算整數(shù)級(jí)視差，采用模糊集理論構(gòu)建測(cè)度函數(shù)可以有效地壓制輻射差異帶來的影響。最后在整數(shù)級(jí)視差基礎(chǔ)上，利用基于迭代相位相關(guān)法的亞像素級(jí)匹配方法獲得亞像素級(jí)視差圖。基于模糊邏輯的多尺度小基高比立體匹配算法的整體流程如圖1所示。

圖1　匹配算法流程圖Fig.1　Flow chart of proposed stereo matching algorithm

2　算法的關(guān)鍵步驟及實(shí)現(xiàn)

2.1基于小波變換的多尺度空間構(gòu)建

多尺度空間是一種由粗到精的匹配思路：首先對(duì)圖像多分辨率分解，按分辨率由粗到精的順序自上而下構(gòu)造多尺度空間；從空間頂級(jí)開始逐級(jí)向下匹配，將高一級(jí)圖像匹配結(jié)果作為約束條件，指導(dǎo)低一級(jí)尺度圖像的匹配過程，最終到達(dá)最低一級(jí)對(duì)原始分辨率圖像進(jìn)行匹配。視差變化范圍隨尺度的增加而減小，各尺度間的視差滿足dk=d/2k，其中k為尺度級(jí)別，d為原始圖像視差。小波變換具有良好的多尺度特性，設(shè)f( x1, x2)為原始分辨率圖像，是一組K層多尺度空間圖像，φ(x1, x2)和ψ(x1,x2)為相應(yīng)尺度函數(shù)和小波函數(shù)，則f(x1,x2)的多尺度空間表達(dá)式為

式(1)右側(cè)第1項(xiàng)表示原始圖像在多尺度空間的低通濾波信號(hào)，系數(shù)C為f的離散平滑逼近；第2項(xiàng)為3個(gè)帶通濾波細(xì)節(jié)。以兩級(jí)尺度空間為例，如圖2所示，經(jīng)小波分解后空間中第k-1層圖像的低頻部分LLk-1可表示為：k層的低頻部分LLk和水平、垂直、對(duì)角線3個(gè)方向上的高頻成分HLk，LHk和HHk。

圖2　小波多尺度空間示意圖Fig.2　Schematic diagram of wavelet based multiscale space

多尺度空間中任意相鄰2層圖像k與k-1之間的視差傳播方式為：k層圖像中的任意像素點(diǎn)(u,v)對(duì)應(yīng)了k-1層圖像中的4個(gè)像素點(diǎn)(2u,2v)，(2u+1,2v)，(2u,2v+1)和(2u+1,2v+1)。假設(shè)(u, v)點(diǎn)的匹配像素點(diǎn)為(u',v')，則(2u,2v)點(diǎn)可能匹配的像素為(2u',2v')，(2u'+1,2v')，(2u',2v'+1)和(2u'+1,2v'+1)，任意相鄰2層圖像k與k-1之間的視差傳播公式為

式中：dk-1(2u,2v)表示k-1層圖像在(2u,2v)像素點(diǎn)處的視差結(jié)果；dk(u, v)為k層圖像在(u, v)像素點(diǎn)處的視差結(jié)果；Δd為(0,0)，(0,1)，(1,0)，(1,1) 這4項(xiàng)中使匹配成本最小的一項(xiàng)。

2.2基于模糊邏輯的相似性測(cè)度函數(shù)

為了克服匹配中的輻射差異問題，本文提出一種基于模糊邏輯的測(cè)度函數(shù)來判斷像素點(diǎn)間的相似性。HSL色彩空間中顏色被定義為色度，飽和度和光度3個(gè)分量，ΔH，ΔS和ΔL表示各分量的差異。基于模糊邏輯的相似性測(cè)度函數(shù)包括2步。

第1步：為相似性測(cè)度函數(shù)建立模糊集。模糊邏輯模型ΔH和ΔS各有4個(gè)模糊集，分別被定義為和，由于ΔL表示光度差異，對(duì)于存在輻射差異的立體圖像，光度不應(yīng)作為重要的判別依據(jù)，故ΔL只定義2個(gè)模糊集{ls, ll}。模糊集隸屬度函數(shù)表達(dá)式為

圖3　模糊隸屬度函數(shù)Fig.3　Fuzzy membership functions

第2步：為相似性測(cè)度函數(shù)建立模糊規(guī)則。

規(guī)則1：若ΔH，ΔS和ΔL均較小，則2個(gè)像素點(diǎn)具有高相似度。

規(guī)則2：若ΔH，ΔS和ΔL中有1個(gè)變量較大，則2個(gè)像素點(diǎn)相似度較低。

上述2個(gè)規(guī)則的值域?yàn)?0,1)，其中：0代表兩像素點(diǎn)相同，1代表兩像素點(diǎn)不同。基于模糊邏輯的相似性測(cè)度函數(shù)FR的數(shù)學(xué)表達(dá)式為

式中：μH， μS和μL分別為H，S，L 3個(gè)分量的模糊集隸屬度函數(shù)值。應(yīng)用模糊相似性測(cè)度函數(shù)對(duì)參考圖像像素點(diǎn)(u, v)與目標(biāo)圖像視差為d的對(duì)應(yīng)像素點(diǎn)(u+d, v)計(jì)算匹配成本的表達(dá)式為

式中：μset(u, v, d )H，μset(u, v, d )S和μset(u, v, d )L表示參考圖像像素點(diǎn)(u, v)與目標(biāo)圖像像素點(diǎn)3個(gè)分量差值的隸屬度函數(shù)值。將立體圖像的全體像素點(diǎn)初始匹配成本C( u, v, d)保存在視差空間圖DSI中，作為后續(xù)步驟的輸入數(shù)據(jù)。

2.3基于十字支撐臂的自適應(yīng)窗口策略

本文根據(jù)文獻(xiàn)[3]方法提出一種改進(jìn)的成本累積策略對(duì)初始匹配成本C( u, v, d)進(jìn)行聚合，窗口由同列相鄰像素?cái)U(kuò)展水平方向線段組成。該累積策略具有2個(gè)優(yōu)點(diǎn)：1)支撐區(qū)可以根據(jù)顏色相似度構(gòu)造任意的形狀和尺寸，更加貼合物體邊界；2)成本累積過程可以利用積分圖像加速技術(shù)在常數(shù)時(shí)間內(nèi)完成。基于十字支撐臂的自適應(yīng)窗口成本累積包括以下2個(gè)步驟：

以十字臂為基礎(chǔ)，擴(kuò)張成支撐窗口U(p)。U(p)由垂直臂V(p)和沿V(p)滑動(dòng)的多條水平線段H(q)組成，其數(shù)學(xué)表達(dá)式為

圖4　基于十字支撐臂的自適應(yīng)窗口成本累積Fig.4　Graphic illustration of cross-based aggregation

第2步：累積支撐窗口內(nèi)的初始匹配成本。為避免異常像素對(duì)累積的影像，采用對(duì)稱方式確定像素點(diǎn)p的臂長(zhǎng)lp：

最后利用“勝者全取”(winner take all,WTA)策略計(jì)算最優(yōu)視差，其視差計(jì)算公式為

2.4基于迭代相位相關(guān)法的亞像素匹配

圖5　亞像素級(jí)匹配算法流程圖Fig.5　Flow chart of sub-pixel matching algorithm

基于迭代相位相關(guān)法的亞像素級(jí)匹配方法的詳細(xì)步驟如下。

1)根據(jù)整數(shù)級(jí)視差，確定參考圖像像素點(diǎn)p0( u, v)在目標(biāo)圖像的對(duì)應(yīng)點(diǎn)，d為整數(shù)視差。以p0和 q0為中心，截取大小為w× h的子圖像與。

3)利用窗口函數(shù)為子圖像加窗，并計(jì)算加窗后2幅子圖像的相位相關(guān)函數(shù)。設(shè)F( u, v)和G( u, v)分別為f( x, y)與g( x, y)的離散傅里葉變換，則二者的相位相關(guān)函數(shù)Q可表示為

4)對(duì)Q( u, v)作逆傅里葉變換并定位峰值位置，以峰值為中心選取5×5元素區(qū)域進(jìn)行曲面擬合，計(jì)算峰值與中心的亞像素級(jí)偏移量。

3　實(shí)驗(yàn)分析

實(shí)驗(yàn)使用2組帶有高程信息的小基高比立體影像對(duì)，如圖6所示。圖6(a)所示為2組立體影像對(duì)的左視角圖像，圖6(b)所示為2組立體影像對(duì)的右視角圖像，簡(jiǎn)稱左圖像和右圖像。在成像過程中，基高比約為0.05，地面分辨率R=0.3；為驗(yàn)證本文算法對(duì)輻射差異的魯棒性，對(duì)右圖光照條件進(jìn)行調(diào)整。圖6(c)和(d)所示分別為水平、垂直方向輻射差異圖，光強(qiáng)呈梯度變化，范圍由-50%增加到+50%；圖6(e)所示為真實(shí)視差圖。圖7(a)，(c)和(e)所示分別為本文算法在無輻射差異、水平、垂直方向輻射差異3種條件下計(jì)算的視差圖，圖7(b)，(d)和(f)所示為文獻(xiàn)[7]描述的MARC算法在上述條件獲取的視差圖。從圖7可以看出：MARC算法隨輻射差異的增加視差圖質(zhì)量下降，物體邊界處產(chǎn)生明顯的膨脹現(xiàn)象。這是由于匹配度量采用互相關(guān)函數(shù)，該函數(shù)對(duì)輻射差異較敏感，累積窗口只改變窗口尺寸而不改變形狀，導(dǎo)致窗口跨越物體邊界，違背了前視平坦假設(shè)。從圖7(a)，(c)和(e)可以看出：本文算法獲得的視差圖質(zhì)量沒有隨輻射差異增加而下降，建筑物的邊界非常清晰，基本上與建筑物原始尺寸一致，本文算法所獲得結(jié)果明顯優(yōu)于文獻(xiàn)[7]的實(shí)驗(yàn)結(jié)果。但是本文和文獻(xiàn)[7]均采取局部成本累積策略，在大面積弱紋理區(qū)域匹配誤差較大。為了量化比較算法性能，圖8所示為本文算法、文獻(xiàn)[7]和文獻(xiàn)[8]算法誤匹配率量化實(shí)驗(yàn)結(jié)果。從圖8可以看出：隨立體圖像之間輻射差異的增加，本文算法所獲得的視差圖誤匹配率仍然相對(duì)較低，而其他2組實(shí)驗(yàn)數(shù)據(jù)誤匹配率則明顯增加。本文算法亞像素級(jí)視差精度根據(jù)高程精度驗(yàn)證，高程計(jì)算公式為h=δR/( b/ h)(式中δ為視差，R為地面分辨率，(b/ h)為基高比)。利用本文視差圖計(jì)算的高程平均誤差為0.299 34 m，對(duì)應(yīng)的視差誤差為0.049 89像素，高于1/20像素(即0.05像素)。

圖6　小基高比立體影像數(shù)據(jù)Fig.6　Small baseline stereo images

圖7　本文算法與文獻(xiàn)[7]MARC算法實(shí)驗(yàn)結(jié)果對(duì)比Fig.7　Comparison of results between our algorithm and MARC algorithm from Ref.[7]

圖8　本文算法、文獻(xiàn)[7]MARC算法和文獻(xiàn)[8]迭代傳播算法的量化比較實(shí)驗(yàn)結(jié)果Fig.8　Statistical results by comparing our algorithm and algorithms from Refs.[7]and[8]

4　結(jié)論

1)提出了一種基于模糊邏輯的多尺度小基高比立體匹配方法，該方法利用HSL色彩模式下的模糊邏輯相似性測(cè)度函數(shù)計(jì)算初始成本，提高了算法在輻射差異條件下的魯棒性。在視差計(jì)算過程中，加入了基于十字支撐臂的自適應(yīng)窗口成本累積策略，提高了視差估計(jì)的準(zhǔn)確性。

2)在獲得整數(shù)級(jí)視差后，利用基于迭代相位相關(guān)的亞像素級(jí)匹配方法獲得高精度的亞像素級(jí)視差，克服了小基高比給深度重建造成的誤差。

3)本文提出的小基高比立體匹配方法在輻射差異條件下具有良好的魯棒性，并且可以獲得高精度的亞像素級(jí)視差。

[1]SCHARSTEIN D,SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International journal of computer vision,2002,47(1/2/3): 7-42.

[2]SUN X,MEI X,JIAO S,et al.Real-time local stereo via edge-aware disparity propagation[J].Pattern Recognition Letters,2014,49(11):201-206.

[3]ZHANG K,LU J,LAFRUIT G.Cross-based local stereo matchingusingorthogonalintegralimages[J].IEEE Transactions on Circuits and Systems for Video Technology, 2009,19(7):1073-1079.

[4]WANG L,YANG R,GONG M,et al.Real-time stereo using approximatedjointbilateralfilteringanddynamic programming[J].Journal of Real-Time Image Processing, 2014,9(3):447-461.

[5]BESSE F,ROTHER C,FITZGIBBON A,et al.Pmbp: Patchmatchbeliefpropagationfor correspondencefield estimation[J].International Journal of Computer Vision,2014, 110(1):2-13.

[6]WANG H,WU M,ZHANG Y,et al.Effective stereo matching using reliable points based graph cut[C]//Visual Communications and Image Processing.Washington,USA: IEEE Computer Society,2013:1-6.

[7]DELON J,ROUGé B.Small baseline stereovision[J].Journal of Mathematical Imaging and Vision,2007,28(3):209-223.

[8]門朝光,邊繼龍,李香.基于迭代傳播的小基高比立體匹配方法[J].中南大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,43(4): 1362-1369. MEN Chaoguang,BIAN Jilong,LI Xiang.Iterative diffusion based stereo matching method for small baseline[J].Journal of Central South University(Science and Technology),2012, 43(4):1362-1396.

[9]范大昭,申二華,李祿,等.基于相位相關(guān)的小基高比影像匹配方法[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào),2013,30(2):154-157. FAN Dazhao,SHEN Erhua,LI Lu,et al.Small baseline stereo matching method based on phase correlation[J]. Journal of Geomatics Science and Technology,2013,30(2): 154-157.

[10]李祿,范大昭,耿則勛,等.改進(jìn)相位相關(guān)算法的小基高比影像亞像素匹配[J].測(cè)繪科學(xué),2014,44(1):183-188. LI Lu,FAN Dazhao,GENG Zexun,et al.Sub-pixel matching for small baseline and height ratio stereo image pairs based on enhancedphasecorrelationalgorithm[J].Scienceof Surveying and Mapping,2014,44(1):183-188.

[11]ITO K,SASAKI M,AOKI T,et al.Generating robust and stabledisparitymapusingphase-basedcorrespondence matching from stereo video sequence[C]//2013 2nd IAPR Asian Conference on Pattern Recognition.Washington,USA: IEEE Computer Society,2013:586-590.

(編輯羅金花)

Multiscale stereo matching method for small baseline based on fuzzy logic

MANing1,2,MEN Yubo1,LI Xiang1,MEN Chaoguang1
(1.College of Computer Science and Technology,Harbin Engineering University,Harbin 150001,China;
2.College of Computer Science and Information Engineering,Harbin Normal University,Harbin 150001,China)

A stereo matching method for small baseline was proposed to solve radiometric variations and depth accuracy in small baseline stereovision.Firstly,the multiscale space was constructed using wavelet transform.The raw matching cost was calculated by fuzzy logic based similarity function and cross based window.Then the“winner takes all”strategy was used to compute integral disparities.Finally,the sub-pixel stereo matching method based on iterative phase correlation was employed to obtain sub-pixel disparities on the basis of integral disparities.The results show that the proposed stereo matching method overcomes the radiometric variations problem and achieves the dense disparity map with sub-pixel precision higher than 1/20.

stereo matching;small baseline;adaptive window;fuzzy logic;sub-pixel disparity

門朝光，博士，教授，博士生導(dǎo)師，從事計(jì)算機(jī)視覺研究；E-mail:menchaoguang@hrbeu.edu.cn

TP391.4

A

1672-7207(2016)07-2304-07

10.11817/j.issn.1672-7207.2016.07.018

2015-07-03；

2015-09-03

國(guó)家自然科學(xué)基金資助項(xiàng)目(61100004，11547157)；黑龍江省自然科學(xué)基金資助項(xiàng)目(F201320)(Projects(61100004, 11547157)supported by the National Natural Science Foundation of China;Project(F201320)supported by the Natural Science Foundation of Heilongjiang Province)