基于分割樹的視差圖修復(fù)算法研究

鄭豫楠

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610065）

基于分割樹的視差圖修復(fù)算法研究

鄭豫楠

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0　引言

作為一項(xiàng)重要的研究領(lǐng)域，立體匹配在近十年有了明顯的發(fā)展。許多新的算法被提出并且效果顯著。Scharstein和Szeliski[1]提出了立體匹配算法的框架，并且將立體匹配算法分成了兩種類型：局部算法和全局算法。局部算法(如經(jīng)典的自適應(yīng)權(quán)重算法[2]）利用局部區(qū)域像素的顏色信息和梯度信息進(jìn)行特征匹配，具有運(yùn)算速度快、易于實(shí)現(xiàn)的優(yōu)點(diǎn)，但缺點(diǎn)是在無(wú)紋理區(qū)域算法容易失效。全局算法利用全圖的整體信息約束代價(jià)函數(shù)來計(jì)算視差，利用的全局優(yōu)化算法有圖割（graph cuts）[3]、置信度傳播（belief propagation）[4]、動(dòng)態(tài)規(guī)劃[5]等，可以獲得效果較好的視差圖，但缺點(diǎn)是計(jì)算時(shí)間長(zhǎng)，難以實(shí)現(xiàn)實(shí)時(shí)性。

局部立體匹配算法框架可以歸納為以下4個(gè)步驟：（1）初始代價(jià)計(jì)算；（2）代價(jià)聚合；（3）視差計(jì)算；（4）視差圖修復(fù)。立體匹配研究發(fā)展至今，大部分的論文是關(guān)于第二步代價(jià)聚合的，但關(guān)于第四步視差圖修復(fù)的論文并不多見。此外，通過局部立體匹配算法得到的視差圖一般都會(huì)受到遮擋的影響，對(duì)于遮擋區(qū)域的像素難以估計(jì)出準(zhǔn)確的視差值。

針對(duì)以上問題，本文提出了一種基于分割樹的立體匹配修復(fù)算法。算法對(duì)象為局部立體匹配算法得到的視差圖，先對(duì)輸入視差圖進(jìn)行左右一致性檢測(cè)將不一致的像素標(biāo)記為不一致點(diǎn)，之后對(duì)視差圖進(jìn)行過分割處理，再利用高斯混合模型對(duì)每一個(gè)過分割區(qū)域進(jìn)行視差值分配，最后利用過分割區(qū)域內(nèi)像素視差一致性對(duì)不一致像素的視差值進(jìn)行重新估計(jì)。

1　左右一致性檢測(cè)

為了檢測(cè)出受遮擋或其他因素影響導(dǎo)致的視差圖中存在不準(zhǔn)確的像素，算法的第一步是對(duì)輸入的左右兩張視差圖進(jìn)行一致性檢測(cè)。對(duì)左視差圖中的每一個(gè)像素，找到右視差圖中對(duì)應(yīng)位置的像素，比較兩者視差差值的絕對(duì)值。如果差值絕對(duì)值在可接受的范圍內(nèi)，那么這個(gè)像素的視差值被認(rèn)為是可靠的，反之，將其標(biāo)記為不一致點(diǎn)。

在左右一致性檢測(cè)結(jié)束后，根據(jù)（1）對(duì)被檢測(cè)出的不一致點(diǎn)對(duì)代價(jià)聚合矩陣進(jìn)行更新。

2　過分割視差圖

顏色信息接近的區(qū)域，視差信息一般也較為接近，利用顏色信息對(duì)彩色圖像進(jìn)行分割，每一個(gè)分割區(qū)域內(nèi)的像素的視差值會(huì)較為接近并且變化平滑。利用此先驗(yàn)知識(shí)，可以對(duì)檢測(cè)出的不一致點(diǎn)的視差值進(jìn)行修復(fù)，因此需要先對(duì)輸入的視差圖對(duì)應(yīng)的彩色圖像進(jìn)行分割處理。

本文利用了 P.F.Felzenszwalb和 D.P.Huttenlocher[6]提出的方法進(jìn)行分割處理，并且采取了過分割策略，即分割后的區(qū)域足夠小，目的是使得上述先驗(yàn)盡可能成立。效果如圖1。

在過分割處理結(jié)束后，會(huì)檢測(cè)每一個(gè)分割區(qū)域內(nèi)存在的不一致點(diǎn)的數(shù)量，如果不一致點(diǎn)的數(shù)量大于一定比例，會(huì)將這個(gè)區(qū)域標(biāo)記為不可靠區(qū)域。

此外，還需要對(duì)每一個(gè)分割區(qū)域所對(duì)應(yīng)的視差值和彩色值進(jìn)行估計(jì)，以評(píng)估不同分割區(qū)域的相關(guān)性。本文采取的方法是通過高斯混合模型對(duì)視差圖進(jìn)行聚類處理，選取每一個(gè)區(qū)域?qū)儆谕粋€(gè)聚類數(shù)量最多的像素的視差值均值來作為其對(duì)應(yīng)的視差信息，同時(shí)用每個(gè)區(qū)域所有像素彩色值的均值來作為其對(duì)應(yīng)的顏色信息。

3　不可靠區(qū)域視差值估計(jì)

圖1　

不可靠區(qū)域的視差值信息并不可用，因此需要利用臨近可靠區(qū)域的視差值對(duì)其進(jìn)行估計(jì)。因此需要得到相鄰分割區(qū)域的相關(guān)性，對(duì)每一個(gè)不可靠區(qū)域選取其相關(guān)性最大的臨近區(qū)域的視差值作為它的視差值。

本文用Wi（Sp）表示分割區(qū)域Sp的第i個(gè)鄰域?qū)p的相關(guān)性：

其中σ是預(yù)先設(shè)定的參數(shù)，用以歸一化，Dr和Ir分別表示分割區(qū)域?qū)?yīng)的視差值和彩色值，α表示Sp和Si的相鄰程度：

其中Ni表示Si與Sp的公共區(qū)域長(zhǎng)度，Nall表示Sp的周長(zhǎng)。

因?yàn)椴豢煽繀^(qū)域的視差值存在一定不準(zhǔn)確性，因此對(duì)每一個(gè)不可靠區(qū)域選取其相關(guān)性最高的可靠區(qū)域的視差值作為其新的視差值。

4　不一致像素的視差值估計(jì)

在得到不可靠區(qū)域的視差值之后，就可以對(duì)不可靠區(qū)域內(nèi)部的不一致像素的視差值進(jìn)行重新估計(jì)了。本文利用了一種先驗(yàn)，即在一個(gè)分割區(qū)域內(nèi)部，所有像素的視差值均位于一個(gè)區(qū)間，即：

為了驗(yàn)證這種先驗(yàn)的正確性，可以使用真實(shí)視差圖做實(shí)驗(yàn)。在本文所涉及的實(shí)驗(yàn)中，γ取值為5，R為255。結(jié)果表明99.2%的像素都符合這一先驗(yàn)假設(shè)，如圖2。

圖2　為真實(shí)視差圖，紅色標(biāo)記的像素為不符合先驗(yàn)假設(shè)的像素

利用上述先驗(yàn)和更新后的不可靠區(qū)域的視差值，可以估計(jì)出每一個(gè)不可靠區(qū)域中的不一致點(diǎn)的視差值：

其中p表示不一致點(diǎn)，di∈[Dr（Sp）-Δd，Dr（Sp）+Δd]，Cnew在左右一致性檢測(cè)之后得到。每一個(gè)不一致點(diǎn)p的視差值都會(huì)使得新的代價(jià)聚合矩陣Cnew最小。

5　實(shí)驗(yàn)結(jié)果分析

本文的實(shí)驗(yàn)使用Middlebury[7]提供的圖片和真是視差圖進(jìn)行評(píng)測(cè)，實(shí)驗(yàn)結(jié)果如圖3所示。

在實(shí)驗(yàn)中，使用Mei X，Sun X，Dong W等人[8]提出的方法來獲得初始視差圖。結(jié)果表明本文的算法提升了一定效果，但部分區(qū)域和真實(shí)結(jié)果還有一些差距，仍有繼續(xù)改善的空間。

圖3　

[1]D.Scharstein and R.Szeliski.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J].IJCV,2002,47 （1-3）:7-42.

[2]K.-J.Yoon and I.-S.Kweon.Adaptive Support-Weight Approach for Correspondence Search[J].PAMI,2006,28（4）:650-656

[3]V.Kolmogorov and R.Zabih.Computing Visual Correspondence with Occlusions Via Graph Cuts[C].ICCV,2001:508-515.

[4]J.Sun,N.Zheng,and H.Shum.Stereo Matching Using Belief Propagation[M].ECCV,2002:510-524.

[5]郭永彩,魏朋玉,高潮.采用多級(jí)動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)立體匹配[J].光學(xué)精密工程,2009,17（7）:1745.

[6]P.F.Felzenszwalb and D.P.Huttenlocher.Efficient graphbased image segmentation[J].IJCV,2004,59（2）:167-181.

[7]Middlebury Stereo Vision Page.http://vision.middlebury.edu/stereo/

[8]Mei X,Sun X,Dong W,et al.Segment-Tree Based Cost Aggregation for Stereo Matching[C].CVPR,2013:313-320.

Stereo Vision;Segment-Tree;Stereo Matching

Research on Disparity Map Refinement Algorithm Based on Segment Tree

ZHENG Yu-nan
（College of Computer Science,Sichuan University,Chengdu 610065）

1007-1423（2016）03-0068-04

10.3969/j.issn.1007-1423.2016.03.016

鄭豫楠（1990-），男（漢族），天津人，碩士，研究方向?yàn)橛?jì)算機(jī)視覺與圖像處理

2015-12-08

2016-01-12

立體匹配是計(jì)算機(jī)視覺研究領(lǐng)域中的一項(xiàng)重要的研究問題。雖然已經(jīng)存在很多立體匹配的相關(guān)方法，但是諸如遮擋之類的問題仍然沒有被徹底解決。基于分割樹的視差圖修復(fù)方法，可以修復(fù)通過非全局性立體匹配算法得到的視差圖。實(shí)驗(yàn)結(jié)果顯示所提出的方法可減輕遮擋的影響。

立體視覺；分割樹；立體匹配

四川省科技創(chuàng)新苗子工程（No.2015-095）

Stereo matching is an important problem in computer vision research field.Though many stereo matching methods have been proposed, but some problems such as occlusion are still unresolved.Proposes a method using segment-tree to refine a disparity map got from a nonglobal stereo matching algorithm.Experiment results shows that the proposed method alleviates the effect of occlusion.