一種基于梯度增強的立體匹配算法

董 欣，王國中，范 濤，滕國偉，趙海武，李國平

（上海大學通信與信息工程學院，上海 200072）

一種基于梯度增強的立體匹配算法

董 欣，王國中，范 濤，滕國偉，趙海武，李國平

（上海大學通信與信息工程學院，上海 200072）

立體匹配是深度圖獲取的一個關鍵技術，傳統的立體匹配使用的圖像分割方法會對圖像邊界造成一定的破壞，為提高深度圖邊緣的準確度，提出了一種基于梯度增強的立體匹配算法。首先通過梯度算子對參考圖像和目標圖像進行預處理，增強圖像邊界的魯棒性，然后采用mean－shift圖像分割算法對圖像進行區域分割，對分割得到的區域使用自適應塊匹配法進行立體匹配，最后采用均值濾波對圖像進行后處理，得到最優的視差平面。實驗結果證明該算法在圖像邊界的匹配精度上得到了比較滿意的效果。

立體匹配;圖像增強;視差;圖像分割

近些年來，信息科學不斷發展，隨著3D頻道的開播，立體視頻的應用也變得更多，人們越來越深刻地認識到立體視頻帶來的強烈震撼。3D電視信號與傳統電視信號相比，需要在非常有限的帶寬下通過采集、編碼、傳輸、接收并最終合成3D效果，數據量巨大，因此，3D技術要想走進大眾的生活，首先需要克服的就是視頻的數據量問題。目前在解決數據量問題上采取的有效方案為“紋理圖+深度圖”方案，立體匹配則是深度圖獲取的一個重要步驟。

本文提出了一種基于梯度增強的快速立體匹配算法。傳統的立體匹配方法首先使用圖像分割算法對圖像進行過分割，然后對分割的區域進行立體匹配。然而圖像分割方法會對圖像邊界造成一定的破壞，導致顏色相近的區域邊界保持不完整，因此，本文采用梯度增強的方法對目標圖像和參考圖像進行預處理，增強圖像邊界的魯棒性，從而使匹配得到的視差圖在邊界區域更加準確，大大降低圖像邊界的誤匹配，然后采用mean－shift圖像分割算法對圖像進行過分割，通過局部立體匹配算法進行立體匹配，最后使用均值濾波對圖像進行后處理，得到最終的視差圖。

1 基于圖像增強的立體匹配

1.1 立體匹配算法介紹

立體匹配算法主要分為兩大類，第一類是基于全局的立體匹配算法［1－3］，第二類是基于區域的立體匹配算法。基于全局的立體匹配算法通過定義能量函數找到最優的視差平面［4］，理論上可以得到質量最優的深度圖，但是算法的復雜度相對局部立體匹配算法較大，無法做到實時。基于區域的算法通常使用基于窗口的方法，以窗口為鄰域單位進行匹配，窗口的大小決定了匹配的精度和準確度，但在深度不連續區域、低紋理區域和遮擋區域的效果不佳［5－6］。Andreas Klaus等在2006年提出了基于圖像分割的立體匹配算法［7－9］，先利用圖像分割的方法把圖像根據顏色信息進行分割，假設每個區域內部具有相似的深度，然后對每個區域進行全局能量函數計算［10］。這種方法在保護邊緣上有一定的效果，但是若區域分割錯誤或者顏色相近，那么得到的邊界就會存在較大的誤差。

基于圖像分割的立體匹配算法以圖像分割得到的區域來對每個區域進行自適應區域立體匹配［8］，主要步驟為:1）使用圖像分割算法把圖像分割成具有相似性的區域，假設每個區域具有相似的深度值，然后對得到的每個區域進行標記。2）初始視差估計，通過立體匹配算法得到每個區域的匹配代價。3）通過交叉檢測得到可信的視差塊并填充不可信視差塊。4）視差平面擬合，由計算出來的分割區域內像素的視差計算出整個區域的視差。5）通過定義能量函數估計不可信視差值，得到最優的視差平面。

1.2 基于圖像增強的快速立體匹配算法

本文采用了基于區域的立體匹配算法，最大限度地利用并優化前人提出的方法，研究了高質量的深度圖獲取方法并通過圖像預處理和后處理實現了高精確度的視差圖提取。具體實現方案如圖1所示。

圖1 算法框圖

1）為了保證在深度提取過程中最大限度地保留邊緣部分的精確度，首先對左右視點的紋理圖像進行圖像增強，注重增強圖像的邊緣部分，使邊緣更加突出，降低圖像分割對邊緣造成的破壞。為降低處理復雜度，本文采用基于梯度的圖像增強算法來提取邊緣與增強邊緣。圖2為得到的邊緣和增強后的分割結果。

圖2 圖像邊緣與分割結果

在本算法中，采用水平方向與垂直方向的梯度進行圖像邊緣的提取。對于圖像函數f（i，j），它在（i，j）處的梯度是一個矢量，對于數字圖像而言，該點的梯度值近似為

定義增強后的圖像g（i，j）為

式中:ω1和ω2為增強的權值。

2）首先對使用均值漂移算法（mean－shift）［7］圖像根據顏色進行過分割，假設每個區域具有相似的深度值，得到分割后的圖像并對每個區域進行標記。

3）使用基于窗口的局部匹配算法進行立體匹配得到初始視差。基于區域的亮度絕對值差準則（SAD）和梯度絕對值差準則（GRAD）的計算方式為

式中:IL和IR分別表示左右圖像的亮度信息;i和

j表示水平和垂直方向梯度算子;W（i，j）表示以（i，j）為中心的窗口。

最終的匹配代價為

4）通過交叉檢測（Cross－checking）得到可信像素塊并由可信像素塊得到不可信像素塊視差。首先以左視點為參考圖像，以右視點為目標圖像在目標圖像中搜索參考圖像的匹配塊，然后再把兩視點交換，重新搜索匹配塊，由唯一性約束可知，如果兩次搜索得到的視差相同，則定義為可信塊，若不相同，則定義為不可信塊。

5）視差圖后處理。對于不可信像素塊，使用其周圍的可信像素塊通過中值濾波變為可信像素塊，由此可以過改善遮擋區域和弱紋理區域的誤匹配。

2 實驗結果與分析

為了驗證本文提出方法的性能，首先使用立體圖像對進行驗證。本文以MATLAB 2010為實驗平臺，采用Middlebury網站上提供的5幅立體圖像對tsukuba，venus，teddy，cons和bull分別進行實驗驗證，為了更加精確地表示視差圖像的匹配精確度，本文采用了兩種衡量方式，峰值信噪比（PSNR）和誤匹配率（B）。其中誤匹配率（B）反映了計算所得視差值的誤差大于某閾值的像素在整幅圖中占有的比例，公式為

式中:N為總像素數;destimate（i，j）表示估計得到的視差值;dgroundtruth（i，j）為真實視差值;α為誤差，本實驗設置α為1.0。客觀實驗結果見表1。

表1 客觀實驗結果對比

由表1可知，本文提出的基于梯度增強的立體匹配算法在客觀質量上均有所提高，均值信噪比PSNR平均提高了0.365 9 dB，誤匹配率B平均降低了3.624 3%。

圖3是tsukuba，teddy和cons的觀實驗結果。

圖3 原始視點視差圖與實驗結果

從主觀結果看，本文方法對保護圖像的邊界具有很好的作用，如圖4所示。原始視差圖具有明顯的誤匹配，在圖像的邊緣部位出現了較多的毛刺，而本文方法則保持了邊緣的平滑與完整。由實驗結果可知，本文提出的方法可以有效改善與避免邊緣點的誤匹配情況。

圖4 視差圖主觀結果對比

將本文提出的增強方法應用于視頻序列，也得到了較好的結果，本文采用MPEG提供的測試視頻序列balloon和kendo，與參考軟件DERS的結果做比較，實驗結果如圖5和圖6所示。可以看出，對于視頻序列在主觀效果和客觀效果上都有所提高。

圖5 ballon視頻序列測試結果

圖6 kendo視頻序列測試結果

3 結語

為了降低由于傳統的立體匹配算法對圖像邊界造成的破壞，并最大限度地保護圖像的邊界，本文提出了一種基于圖像增強的局部立體匹配算法，結合使用了梯度增強和圖像分割，使參考圖像和目標圖像在邊界保持上具有更強的魯棒性，在傳統立體匹配方法的前提下，本文方案對視差圖的PSNR平均提高了0.365 9 dB，在主觀效果上也得到了高精確度;把本方案應用于深度圖提取算法也得到了更加準確的主觀結果與客觀結果。

:

［1］EKMEKCIOGLU E，VELISAVLJEVIC V，WORRALL S.Edge and motion － adaptive median filtering for multi－view depth map enhancement［C］//Proc.Picture Coding Symposium，2009.Chicago，IL:IEEE Press，2009:1－4.

［2］EKMEKCIOGLU E，VELISAVLJEVIC V，WORRALL S.Content adaptive enhancement of multi－view depth maps for free viewpoint video［J］.IEEE Journal of Selected Topics in Signal Processing，2011，5（2）:352－361.

［3］CANCINO－SUAREZ S，KLIMASZEWSKI K，STANKIEWICZ O，et al.Enhancement of stereoscopic depth estimation by the use of motion information［C］//Proc.2012 44th Southeastern Symposium on System Theory（SSST）.Jacksonville，FL:IEEE Press，2012:94－98.

［4］武翠芳，王永芳，劉靜，等.一種改進的基于BP的立體匹配算法［J］，電視技術，2011，35（20）:28－31.

［5］SCHARSTEIN D，SZELISKI R.A taxonomy and evaluation of dense two－frame stereo correspondencealgorithms［J］.International Journal of Computer Vision，2002（47）:7－42.

［6］LI H，CHEN G.Segment－based stereo matching using graph cuts［C］//Proc.CVPR 2004.［S.l.］:IEEE Press，2004:74－81.

［7］VEKSLER O.Efficient graph－based energy minimization methods［EB/OL］.［2013－02－02］.http://www.csd.uwo.ca/faculty/olga/Papers/thesis.pdf.

［8］ANDREAS K，MARIO S，KONRAD K.Segment－based stereo matching using belief propagation and a self－adapting dissimilarity measure［C］//Proc.18th International Conference on Pattern Recognition，ICPR 2006.Hong Kong:IEEE Press，2006:15－18.

［9］COMANICIU D，MEER P.Mean shift:a robust approachtoward feature space analysis［C］//Proc.PAMI 2002.［S.l.］:IEEE Press，2004:603－619.

［10］BLEYER M，GELAUTZ M.Graph－based surface reconstructionfrom stereo pairs using image segmentation［C］//Proc.Conference Videometrics VIII.［S.l.］:SPIE，2005:288－299.

Image Enhangcement Based on Stereo Matching Algrorithm

DONG Xin，WANG Guozhong，FAN Tao，TENG Guowei，ZHAO Haiwu，LI Guoping

（Shool of Communication and Information Engineering，Shanghai University，Shanghai 200072，China）

Streo matching is one of the key techniques in depth estimatiom.Traditional stero matching methods destroies the edge of an image partly.To improve the depth estimation precision，an image enhangcement based stereo matching algrorithm is proposed that utilizes image enhancement on the reference image and the target image and the scene is enhanced by a gradient method which makes the latter segmentation step more robust on edges，then the disparity plane is assigned to each segment.Experiment results demonstrate the superior performance of the proposed algrithm.

stereo maching;image enhanchment;disparity;image segmentation

TN919.8

A

【本文獻信息】董欣，王國中，范濤，等.一種基于梯度增強的立體匹配算法［J］.電視技術，2014，38（3）.

國家自然科學基金項目（D.09－0107－13－006）;上海市科學技術委員會科研計劃項目（12511502502）

董 欣（1988— ），女，碩士生，主研3D視頻高效深度提取技術;

王國中，博士，教授，博士生導師，研究方向為視頻編解碼與多媒體通信。

責任編輯:時 雯

2013－03－14