基于分割樹的視差圖修復算法研究

鄭豫楠

（四川大學計算機學院，成都　610065）

基于分割樹的視差圖修復算法研究

鄭豫楠

（四川大學計算機學院，成都610065）

0　引言

作為一項重要的研究領域，立體匹配在近十年有了明顯的發展。許多新的算法被提出并且效果顯著。Scharstein和Szeliski[1]提出了立體匹配算法的框架，并且將立體匹配算法分成了兩種類型：局部算法和全局算法。局部算法(如經典的自適應權重算法[2]）利用局部區域像素的顏色信息和梯度信息進行特征匹配，具有運算速度快、易于實現的優點，但缺點是在無紋理區域算法容易失效。全局算法利用全圖的整體信息約束代價函數來計算視差，利用的全局優化算法有圖割（graph cuts）[3]、置信度傳播（belief propagation）[4]、動態規劃[5]等，可以獲得效果較好的視差圖，但缺點是計算時間長，難以實現實時性。

局部立體匹配算法框架可以歸納為以下4個步驟：（1）初始代價計算；（2）代價聚合；（3）視差計算；（4）視差圖修復。立體匹配研究發展至今，大部分的論文是關于第二步代價聚合的，但關于第四步視差圖修復的論文并不多見。此外，通過局部立體匹配算法得到的視差圖一般都會受到遮擋的影響，對于遮擋區域的像素難以估計出準確的視差值。

針對以上問題，本文提出了一種基于分割樹的立體匹配修復算法。算法對象為局部立體匹配算法得到的視差圖，先對輸入視差圖進行左右一致性檢測將不一致的像素標記為不一致點，之后對視差圖進行過分割處理，再利用高斯混合模型對每一個過分割區域進行視差值分配，最后利用過分割區域內像素視差一致性對不一致像素的視差值進行重新估計。

1　左右一致性檢測

為了檢測出受遮擋或其他因素影響導致的視差圖中存在不準確的像素，算法的第一步是對輸入的左右兩張視差圖進行一致性檢測。對左視差圖中的每一個像素，找到右視差圖中對應位置的像素，比較兩者視差差值的絕對值。如果差值絕對值在可接受的范圍內，那么這個像素的視差值被認為是可靠的，反之，將其標記為不一致點。

在左右一致性檢測結束后，根據（1）對被檢測出的不一致點對代價聚合矩陣進行更新。

2　過分割視差圖

顏色信息接近的區域，視差信息一般也較為接近，利用顏色信息對彩色圖像進行分割，每一個分割區域內的像素的視差值會較為接近并且變化平滑。利用此先驗知識，可以對檢測出的不一致點的視差值進行修復，因此需要先對輸入的視差圖對應的彩色圖像進行分割處理。

本文利用了 P.F.Felzenszwalb和 D.P.Huttenlocher[6]提出的方法進行分割處理，并且采取了過分割策略，即分割后的區域足夠小，目的是使得上述先驗盡可能成立。效果如圖1。

在過分割處理結束后，會檢測每一個分割區域內存在的不一致點的數量，如果不一致點的數量大于一定比例，會將這個區域標記為不可靠區域。

此外，還需要對每一個分割區域所對應的視差值和彩色值進行估計，以評估不同分割區域的相關性。本文采取的方法是通過高斯混合模型對視差圖進行聚類處理，選取每一個區域屬于同一個聚類數量最多的像素的視差值均值來作為其對應的視差信息，同時用每個區域所有像素彩色值的均值來作為其對應的顏色信息。

3　不可靠區域視差值估計

圖1　

不可靠區域的視差值信息并不可用，因此需要利用臨近可靠區域的視差值對其進行估計。因此需要得到相鄰分割區域的相關性，對每一個不可靠區域選取其相關性最大的臨近區域的視差值作為它的視差值。

本文用Wi（Sp）表示分割區域Sp的第i個鄰域對Sp的相關性：

其中σ是預先設定的參數，用以歸一化，Dr和Ir分別表示分割區域對應的視差值和彩色值，α表示Sp和Si的相鄰程度：

其中Ni表示Si與Sp的公共區域長度，Nall表示Sp的周長。

因為不可靠區域的視差值存在一定不準確性，因此對每一個不可靠區域選取其相關性最高的可靠區域的視差值作為其新的視差值。

4　不一致像素的視差值估計

在得到不可靠區域的視差值之后，就可以對不可靠區域內部的不一致像素的視差值進行重新估計了。本文利用了一種先驗，即在一個分割區域內部，所有像素的視差值均位于一個區間，即：

為了驗證這種先驗的正確性，可以使用真實視差圖做實驗。在本文所涉及的實驗中，γ取值為5，R為255。結果表明99.2%的像素都符合這一先驗假設，如圖2。

圖2　為真實視差圖，紅色標記的像素為不符合先驗假設的像素

利用上述先驗和更新后的不可靠區域的視差值，可以估計出每一個不可靠區域中的不一致點的視差值：

其中p表示不一致點，di∈[Dr（Sp）-Δd，Dr（Sp）+Δd]，Cnew在左右一致性檢測之后得到。每一個不一致點p的視差值都會使得新的代價聚合矩陣Cnew最小。

5　實驗結果分析

本文的實驗使用Middlebury[7]提供的圖片和真是視差圖進行評測，實驗結果如圖3所示。

在實驗中，使用Mei X，Sun X，Dong W等人[8]提出的方法來獲得初始視差圖。結果表明本文的算法提升了一定效果，但部分區域和真實結果還有一些差距，仍有繼續改善的空間。

圖3　

[1]D.Scharstein and R.Szeliski.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J].IJCV,2002,47 （1-3）:7-42.

[2]K.-J.Yoon and I.-S.Kweon.Adaptive Support-Weight Approach for Correspondence Search[J].PAMI,2006,28（4）:650-656

[3]V.Kolmogorov and R.Zabih.Computing Visual Correspondence with Occlusions Via Graph Cuts[C].ICCV,2001:508-515.

[4]J.Sun,N.Zheng,and H.Shum.Stereo Matching Using Belief Propagation[M].ECCV,2002:510-524.

[5]郭永彩,魏朋玉,高潮.采用多級動態規劃實現立體匹配[J].光學精密工程,2009,17（7）:1745.

[6]P.F.Felzenszwalb and D.P.Huttenlocher.Efficient graphbased image segmentation[J].IJCV,2004,59（2）:167-181.

[7]Middlebury Stereo Vision Page.http://vision.middlebury.edu/stereo/

[8]Mei X,Sun X,Dong W,et al.Segment-Tree Based Cost Aggregation for Stereo Matching[C].CVPR,2013:313-320.

Stereo Vision;Segment-Tree;Stereo Matching

Research on Disparity Map Refinement Algorithm Based on Segment Tree

ZHENG Yu-nan
（College of Computer Science,Sichuan University,Chengdu 610065）

1007-1423（2016）03-0068-04

10.3969/j.issn.1007-1423.2016.03.016

鄭豫楠（1990-），男（漢族），天津人，碩士，研究方向為計算機視覺與圖像處理

2015-12-08

2016-01-12

立體匹配是計算機視覺研究領域中的一項重要的研究問題。雖然已經存在很多立體匹配的相關方法，但是諸如遮擋之類的問題仍然沒有被徹底解決。基于分割樹的視差圖修復方法，可以修復通過非全局性立體匹配算法得到的視差圖。實驗結果顯示所提出的方法可減輕遮擋的影響。

立體視覺；分割樹；立體匹配

四川省科技創新苗子工程（No.2015-095）

Stereo matching is an important problem in computer vision research field.Though many stereo matching methods have been proposed, but some problems such as occlusion are still unresolved.Proposes a method using segment-tree to refine a disparity map got from a nonglobal stereo matching algorithm.Experiment results shows that the proposed method alleviates the effect of occlusion.