改進(jìn)的SAD-Census立體匹配算法研究

馬濱濱，肖玲

（中車南京浦鎮(zhèn)車輛有限公司，江蘇南京，210031）

0 引言

作為雙目立體視覺的關(guān)鍵步驟之一，立體匹配的主要任務(wù)是確定雙目圖像中對應(yīng)像素點(diǎn)之間的視差，并由此獲得空間點(diǎn)的深度信息[1]。盡管其已經(jīng)經(jīng)過四十多年發(fā)展，但由于噪聲、圖像亮度區(qū)別、遮擋、反光區(qū)域、透明物體等諸多因素的影響[2]，至今研究者們也沒有找到出一種兼顧匹配精度和算法實(shí)時(shí)性的有效解決方法，因而至今依然是學(xué)術(shù)界研究的難點(diǎn)和熱點(diǎn)。2002年，Scharstcin和Szeliski等人發(fā)表了一篇具有里程碑意義的綜述性文章[3]。在文中，通過對當(dāng)時(shí)立體匹配算法的相關(guān)研究進(jìn)行梳理與總結(jié)，認(rèn)為立體匹配的一般程序主要包括匹配代價(jià)計(jì)算（matching cost computation）、代價(jià)聚合（cost aggregation）、視差計(jì)算 / 優(yōu)化（disparity computation/optimization）、 視差改進(jìn)（disparity refinement）。并根據(jù)采用最優(yōu)化理論方法的不同將立體匹配分為基于局部對比優(yōu)化的局部立體匹配算法和基于全局優(yōu)化的全局立體匹配算法。除此之外，為了對立體匹配算法的性能有一個(gè)統(tǒng)一的評比標(biāo)準(zhǔn)，創(chuàng)建了Middleburry立體視覺網(wǎng)站[4]。近年來，隨著立體匹配研究及學(xué)科交叉的深入發(fā)展，特別是新的數(shù)學(xué)方法的引入，涌現(xiàn)出很多新的立體匹配算法[5]。例如，基于深度學(xué)習(xí)的立體匹配方法突破了局部和全局的界線，極大地豐富了立體匹配算法的理論，顯著提升了立體匹配的精度和速度[6]。

SAD匹配算法在灰度信息及紋理豐富的圖像邊緣區(qū)域匹配速度快、實(shí)時(shí)性強(qiáng)，但對光照強(qiáng)度的均勻性和噪聲較敏感，魯棒性較差[7]；改進(jìn)的Census匹配算法具有更高的魯棒性和匹配精度，但在視差不連續(xù)區(qū)域容易出現(xiàn)誤匹配，所以僅僅使用其中一種匹配算法很難在實(shí)際場景中得到具有較高精度的視差圖[8]。因此，本文將SAD匹配算法和改進(jìn)后的Census匹配算法進(jìn)行融合計(jì)算匹配代價(jià)，充分利用兩算法之間可以優(yōu)勢互補(bǔ)的特點(diǎn)，使匹配算法的具有更高的實(shí)時(shí)性、匹配精度和魯棒性。

1 基于自適應(yīng)權(quán)重的SAD-Census的立體匹配算法

采用文獻(xiàn)[9]自適應(yīng)權(quán)重的設(shè)置的方式將SAD匹配算法、改進(jìn)Census匹配算法進(jìn)行歸一化融合，讓算法在紋理豐富的圖像邊緣區(qū)域賦予SAD算法更高的權(quán)重，在圖像平滑、紋理重復(fù)區(qū)域賦予Census算法更高的權(quán)重。融合后得到的新的匹配代價(jià)計(jì)算公式如式（1）所示。

式中，C(x,y,z)是最終的匹配代價(jià)；β、1-β分別是控制SAD匹配算法、Census匹配算法參與匹配代價(jià)計(jì)算的權(quán)重；λSAD、λCen為常數(shù)，分別是SAD匹配算法和改進(jìn)后的Census匹配算法的代價(jià)權(quán)值；ρ(C,λ)是歸一化函數(shù)，用于控制SAD匹配算法、Census匹配算法計(jì)算的匹配代價(jià)值的取值范圍在[0,1]。

2 代價(jià)聚合

十字交叉區(qū)域的構(gòu)造示意圖如圖1所示。首先，根據(jù)色彩相似性和空間距離關(guān)系設(shè)定一個(gè)色彩閾值τ與一個(gè)空間距離閾值L ，然后在水平方向和垂直方向構(gòu)造待匹配像素點(diǎn)p的十字交叉區(qū)域，作為初始支持骨架，其中水平方向?yàn)镠(p)，垂直方向?yàn)閂(p)，則兩個(gè)正交的交叉斷H(p)和V(p)可用公式（2）表示[10]。

圖1 十字交叉區(qū)域構(gòu)造示意圖

每個(gè)臂長的調(diào)整準(zhǔn)則如公式（3）所示。

式中，Ds(pi, p)是像素點(diǎn)pi和p 的空間距離差，Dc(pi, p)是像素pi和p 的色彩差。當(dāng)pi達(dá)到閾值條件時(shí)，臂長不再發(fā)生變化，此時(shí)將搜索待匹配像素p的領(lǐng)域內(nèi)與其色彩相似的所有像素。最后，在垂直方向V( p )中的每一個(gè)像素點(diǎn)q重復(fù)上述過程，即可求得q 的水平方向支持區(qū)域H( q )。聯(lián)合所有的H( q)即可完成待匹配像素p的自適應(yīng)窗口的構(gòu)造。最終的十字交叉窗口區(qū)域如公式（4）所示。

式中，i 代價(jià)聚合的迭代次數(shù)，通常取i=2～4，這樣既能保證代價(jià)聚合后視差圖的精度，還可以使得算法具有較高的效率。

王云峰[11]在研究十字代價(jià)聚合區(qū)域中像素點(diǎn)臂長的調(diào)整規(guī)則時(shí)發(fā)現(xiàn)，臂長大小能夠反映該像素點(diǎn)處于圖像中的哪個(gè)位置。例如當(dāng)像素點(diǎn)上下左右四個(gè)臂長值都很大時(shí)，那么該像素就位于平滑區(qū)域；反之則靠近圖像邊緣區(qū)域。根據(jù)這規(guī)律，本文設(shè)計(jì)了一個(gè)權(quán)重β能夠充分融合SAD算法和改進(jìn)后的Census算法，如公式（6）所示。

式中，hmin是像素點(diǎn)在上下左右四個(gè)方向延伸的最小臂長，τ是顏色閾值，L 是空間閾值。通過公式（6）可以發(fā)現(xiàn)，當(dāng)hmin越小，即像素點(diǎn)越靠近圖像邊緣，β越大，則融合后的算法中SAD立體匹配算法占支配地位，可以更好地處理圖像邊緣地區(qū)；反之，則在圖像平緩區(qū)域具有更高匹配精度的改進(jìn)的Census占主導(dǎo)地位。綜上所述，采用自適應(yīng)權(quán)重β能夠在圖像不同區(qū)域均得到最好的匹配準(zhǔn)確度。

3 視差選擇

在視差選擇階段，通常采用勝者為王WTA（Winner-Take-All）策略[12]對聚合后的代價(jià)CCBCA(p,d)進(jìn)行視差計(jì)算，再選擇計(jì)算中的最小視差作為最優(yōu)的視差值。每個(gè)像素點(diǎn)的最優(yōu)視差獲取如公式（7）：

式中，ds表示當(dāng)取最小匹配代價(jià)時(shí)，當(dāng)前像素點(diǎn)p的最優(yōu)視差值；dmax表示視差最大搜索范圍。

4 視差優(yōu)化

經(jīng)過視差選擇處理后將得到一幅初始視差圖，但是由于遮擋或深度不連續(xù)會(huì)造成很多誤匹配，導(dǎo)致初始視差圖出現(xiàn)孔洞現(xiàn)象。因此，需要對初始視差圖進(jìn)行優(yōu)化處理。

初始視差圖的優(yōu)化主要采用左右一致性檢測方法檢測出異常匹配點(diǎn)，然后對異常點(diǎn)進(jìn)行修正。首先，通過以上步驟得到左右兩幅圖像的初始視差圖，選取左初始視差圖中任一像素點(diǎn)p 對應(yīng)的最優(yōu)視差值ds1，那么像素點(diǎn)p在右初始視差圖中對應(yīng)的像素點(diǎn)p-ds1的最優(yōu)視差值為ds2。若像素點(diǎn)p 不滿足公式（7），則像素點(diǎn)p為異常匹配點(diǎn)。根據(jù)對極幾何原理可以將異常匹配點(diǎn)p分為遮擋點(diǎn)和錯(cuò)誤匹配點(diǎn)[13]。

一些禮儀習(xí)俗會(huì)導(dǎo)致交流障礙。比如，澳大利亞男性土著人忌諱說姐妹的名字，所以當(dāng)律師問到其姐妹的名字時(shí)，他可能回答“不知道”。如果譯員只是直譯，顯然不能促進(jìn)各方的交流。

式中，Th表示視差閾值，通常取值為1。

最后，對異常點(diǎn)進(jìn)行修正。具體過程如下：假設(shè)像素點(diǎn)p為異常點(diǎn)，分別在像素點(diǎn)p的左、右方向?qū)ふ业谝粋€(gè)非異常點(diǎn)，對應(yīng)的最優(yōu)視差值分別為d(pl)、d(pr)。則異常點(diǎn)p修正后的視差值為：

經(jīng)上述處理后便可以得到更加準(zhǔn)確的視差圖。綜上所述，基于自適應(yīng)權(quán)重的SAD-Census立體匹配算法的流程圖如圖2所示。

圖2 本文立體匹配算法流程圖

5 匹配實(shí)驗(yàn)與結(jié)果分析

5.1 實(shí)驗(yàn)環(huán)境和測試數(shù)據(jù)集

為了正確評估改進(jìn)后算法的性能，算法在windows10操作系統(tǒng)，Intel Core i5-8300 CPU，2.30GHz計(jì)算機(jī)上實(shí)現(xiàn)，并通過PyCharm2019編譯器和opencv2.4.9作為軟件平臺(tái)，python語言作為編輯語言進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)所需數(shù)據(jù)集來源于Middlebury立體匹配算法評測平臺(tái)[7]，選取該測試平臺(tái)提供的經(jīng)立體校正后的四套標(biāo)準(zhǔn)彩色立體圖像對和對應(yīng)的真實(shí)視差圖。如圖 3 所示，圖中（a）、（b）、（c）、（d）分別是 Cones、Teddy、Tsukuba、Venus四套圖像對，圖中第一排、第二排分別表示左右攝像機(jī)拍攝的左右視圖，第三排是左視圖對應(yīng)的真實(shí)視差圖，用于作為評價(jià)立體匹配算法質(zhì)量的標(biāo)準(zhǔn)。四套圖像對的基本屬性和特征如表1所示。

圖3 Middlebury立體匹配算法測試平臺(tái)標(biāo)準(zhǔn)圖像

表1 Middlebury立體匹配算法測試平臺(tái)標(biāo)準(zhǔn)圖像基本屬性

Middlebury測試平臺(tái)為評估立體匹配算法提供了兩個(gè)度量指標(biāo)：均方根誤差（RMS，Root-Mean-Squared）和誤匹配率（POBMP，Percentage of bad matching pixels）。均方根誤差用來計(jì)算算法得到的視差圖和真實(shí)視差圖內(nèi)所有對應(yīng)像素點(diǎn)的視差均方根，公式如（10）所示；誤匹配率相對來說更加簡單和直觀，用來計(jì)算誤匹配像素點(diǎn)與圖像總像素點(diǎn)數(shù)的比值，如公式（11）所示。

式中：N是視差圖中像素點(diǎn)的總數(shù)；dC(x,y)、dT(x,y)分別是坐標(biāo)(x,y)在所計(jì)算的視差圖和真實(shí)視差圖中的視差值；δd是視差誤差容許度，通常取值為1，即算法得到的視差值和真實(shí)視差值相減的差的絕對值大于1，則認(rèn)為該像素點(diǎn)是誤匹配點(diǎn)，否則為正確匹配點(diǎn)。誤匹配率計(jì)算的區(qū)域通常分為所有區(qū)域（All）、非遮擋區(qū)域（Nocc）和視差不連續(xù)區(qū)域（Disc），其中，所有區(qū)域和非遮擋區(qū)域的誤匹配率是評估立體匹配算法性能的最重要指標(biāo)，因此，本次實(shí)驗(yàn)只計(jì)算在這兩個(gè)區(qū)域的誤匹配率作為改進(jìn)的立體匹配算法性能的評價(jià)標(biāo)準(zhǔn)。

5.2 改進(jìn)Census算法的驗(yàn)證

為了能夠更直觀和客觀的表現(xiàn)改進(jìn)的Census立體匹配算法的性能，這部分實(shí)驗(yàn)只進(jìn)行匹配代價(jià)的計(jì)算得到初始視差圖，計(jì)算其均方根誤差，分析改進(jìn)的Census立體匹配算法在準(zhǔn)確度和魯棒性方面的性能。傳統(tǒng)Census立體匹配算法和改進(jìn)的Census立體算法計(jì)算標(biāo)準(zhǔn)圖像對得到的初始視差圖分別如圖4（a）、（b）所示，均方根誤差如圖5所示。匹配代價(jià)窗口均為5*5。

圖4 對比算法計(jì)算的初始視差圖

圖5 對比算法的均方根誤差

從圖5中可以發(fā)現(xiàn)改進(jìn)后的Census立體匹配算法得到的視差圖比傳統(tǒng)Census算法得到的視差圖在重復(fù)紋理區(qū)域的誤匹配更少，匹配精度更高。

為了測試改進(jìn)后Census立體匹配算法的魯棒性，分別給四套標(biāo)準(zhǔn)圖像對中的右視圖增加到原亮度的150%，左視圖保持不變，如圖6（a）所示。將調(diào)整之后的左右標(biāo)準(zhǔn)圖像分別用SAD立體匹配算法、傳統(tǒng)Census立體匹配算法和改進(jìn)后的Census立體匹配算法進(jìn)行匹配，得到的視差圖如圖6（c）、（d）、（e）所示。

圖6 光照變化后的匹配代價(jià)計(jì)算算法對比

從圖6可以看出，當(dāng)待匹配圖像亮度發(fā)生突然變化時(shí)，SAD立體匹配計(jì)算出的視差圖已經(jīng)完全無法還原場景的深度信息，傳統(tǒng)Census算法雖基本能還原場景深度信息，但準(zhǔn)確率明顯下降，而改進(jìn)的Census立體匹配算法則有較強(qiáng)的魯棒性，獲得的視差圖與亮度未發(fā)生突變時(shí)基本保持一致。

5.3 算法總體性能驗(yàn)證

為了進(jìn)一步驗(yàn)證本文所改進(jìn)算法的整體性能，根據(jù)圖2所示的步驟分別采用本文方法、SAD立體匹配算法、Census立體匹配算法計(jì)算出標(biāo)準(zhǔn)圖像對的最終視差圖，即三種算法采用相同的代價(jià)聚合、視差選擇、視差優(yōu)化方法，可以得到如圖7實(shí)驗(yàn)結(jié)果。

圖7 中（a）、（b）、（c）分別是傳統(tǒng) Census 算法結(jié)果、SAD算法結(jié)果以及本文算法結(jié)果。通過最終對比3種算法，結(jié)果表明，本文提出的基于自適應(yīng)權(quán)重的SAD-Census立體匹配算法要比單獨(dú)適應(yīng)SAD立體匹配算法和Census立體匹配算法匹配準(zhǔn)確性高。對上述視差圖的所有區(qū)域和未遮擋區(qū)域進(jìn)行誤匹配率計(jì)算，結(jié)果如表所示。

圖7 實(shí)驗(yàn)算法最終視差圖對比

從圖7和表2中可以看出，在進(jìn)行匹配精度的中實(shí)驗(yàn)本文提出的基于自適應(yīng)權(quán)重的SAD-Census立體匹配算法在評測標(biāo)準(zhǔn)圖像所有區(qū)域、未遮擋區(qū)域的誤匹配率、四對標(biāo)準(zhǔn)圖像的平均誤匹配率均是三種立體匹配算法中最小值，即本算法具有最好的匹配準(zhǔn)確性，尤其對于大部分是傾斜區(qū)域和弱紋理區(qū)域的Venus標(biāo)準(zhǔn)圖像，本文匹配算法的匹配準(zhǔn)確率可高于到另外兩種算法近4倍。

表2 對比算法誤匹配率

6 結(jié)論

針對Census立體匹配算法過于依賴中心像素灰度值致使魯棒性不高的問題提出了一種解決方法，為獲得更佳的匹配精度，提出了一種基于自適應(yīng)權(quán)重的SAD-Census立體匹配方法，該方法可實(shí)現(xiàn)在圖像邊緣區(qū)域和平坦區(qū)域給予SAD匹配算法和改進(jìn)后Census匹配算法不同的權(quán)重以獲得最佳的匹配效果，通過實(shí)驗(yàn)驗(yàn)證了改進(jìn)后Census匹配算法具有更好的魯棒性，基于自適應(yīng)權(quán)證的SAD-Census立體匹配方法的匹配準(zhǔn)確性優(yōu)于原算法。