基于像素值調整的立體匹配算法

王文浩，張曉林

（1.中國科學院 上海微系統與信息技術研究所，上海200042；2.上海科技大學 上海 201210）

基于像素值調整的立體匹配算法

王文浩1，2，張曉林1

（1.中國科學院 上海微系統與信息技術研究所，上海200042；2.上海科技大學 上海 201210）

為了提高立體匹配算法在包含斑駁陰影的現實場景中的魯棒性，提出了一種基于顏色調整的立體匹配改進算法。該算法以匹配圖片中的一副為基準，調整另一幅圖片的顏色分布，使兩幅圖片在顏色分布上盡可能地保持一致。實驗證明，該算法在處理斑駁陰影區域時的效果良好，能夠有效地提升立體匹配算法在這種場景中獲得視差圖的準確性。

立體匹配；視差圖；顏色調整；斑駁陰影

隨著立體視覺技術的飛速發展，越來越多的3D相關技術進入了人們的視野，如三維重建[1]、運動估計[2]、VR[3]、AR[4]、自動駕駛[5]等。獲取精準的深度信息是這些技術得以正確運用基礎。而通過立體匹配獲得的視差圖則是獲取深度的前提，因此如何提升立體匹配算法在各種場景中的魯棒性也是計算機視覺研究的熱點問題。

立體匹配算法的目標是從兩幅校正后的匹配圖片中尋找每個像素點的匹配像素，像素點間的強度信息則是衡量相似度的一個重要因素。如果兩幅匹配圖片在像素強度上存在較大的差異，則很難準確地估計視差信息。包含斑駁陰影的現實場景中，兩幅匹配圖片就很可能存著像素強度的偏差。文中針對這一問題，提出了一種基于像素值調整的立體匹配算法以提升從這一場景中獲得的視差信息的準確率。

1 立體匹配算法

立體匹配算法一般可以分為全局和局部[6]兩種。全局的立體匹配算法以每個像素點自身及其周圍像素視差值的關系，建立一個能量函數，通過優化能量函數的最小值來估計視差。而局部的算法則以圖片中每個像素點為目標，單獨進行匹配并分別計算視差。文中主要針對基于局部匹配的IGSM[7]算法進行改進。該局部立體匹配算法主要包含下面幾個步驟：

1）輸入匹配左圖IL和右圖IR。

2）計算每個像素點的初始代價Craw。

3）在支撐區域中聚合初始代價，獲得新的代價Cagg。

4）選擇每個像素點最小的代價視差作為其初始視差draw。

5）消除遮擋、誤匹配，平滑視差，獲得最終視差dfinal。

2 立體匹配算法在斑駁場景中的缺陷

立體匹配算法從提出，發展到現在已經有了較為完整的知識體系，在 Middlebury[8]、KITTI[9]等數據集中也有較好的表現。但是在一些特殊的場景中則仍然存在著問題。如圖1所示的匹配圖左圖，它來自于KITTI數據集，圖片中存在著大量的斑駁陰影。圖2顯示的是通過IGSM算法經過計算得到的視差圖結果。可以看到視差圖中存在大量的像素點無法找到匹配點，并且也存在許多的誤匹配點，特別是在路面上。圖3是圖1場景的像素灰度值分布圖。通過比較可見，兩幅匹配圖片的分布在中間一段區域有較大的偏移。

大量實驗表明IGSM算法對KITTI數據集中此類含有斑駁陰影的匹配圖的匹配效果不太理想。而匹配結果較好的匹配圖其像素灰度值分布曲線則大部分重疊在一起，不存在明顯的偏移。因此，由統計結果可以推測：是由于像素值的偏差最終導致錯誤匹配結果的產生。后面的章節中，我們將通過實驗驗證這一推測的正確性。

圖1 含有大面積斑駁陰影的匹配圖片

圖2 通過IGSM算法獲得的視差結果

3 像素值調整

在計算初始代價時，像素值的代價為：

其中p代表左圖IL中的一個像素點，q代表在估計視差為d時，匹配圖IR中對應的點。像素值代價CADI為此時兩點像素值差的絕對值。兩者的像素值越接近，該代價越接近于0。

由于錯誤的視差結果可能是由于像素值不匹配造成的，因此可以采用顏色校正的方法來調整匹配圖。目前有基于概率統計[10]，超定線性系統[11]，亮度色彩曲線匹配[12]，gamma 校正[13]，線性回歸[14]，自適應歸一化交叉校正[15]等方法。但這些方法，在含有大面積斑駁陰影的圖片中并不適用。

我們提出使用像素值調整的方法來重新校正匹配圖。通過遍歷左右匹配圖片的像素信息來獲得灰度圖像素分布，如圖3所示。其中x軸代表像素值即0～255，y軸代表圖片中該像素值的像素個數。我們取其中一個像素灰度值分布作為標準，按照該分布調整另一幅圖片的分布。本文中以左圖為準，首先統計匹配左圖和右圖的像素值，獲得左圖像素灰度值分布DL和右圖像素灰度值分布DR。按照像素灰度分布生成兩個按像素灰度值從小到大排列的矩陣ML和MR，矩陣為2行n列，其中n為圖片中的像素個數。第一行對應每個像素的坐標位置，第二行對應該點像素灰度值。之后按照左圖的像素灰度值，為右圖的像素點重新從小到大賦值。即：

調整后MR′按照對應的坐標位置恢復成調整后的右圖的IR′。此時右圖像素灰度值分布即與左圖的分布基本一致。在匹配時可以減少由于像素值偏差造成的誤匹配，從而提升匹配算法的準確性。

算法的基本步驟如下：

1）分別統計匹配圖片左圖IL和右圖IR的像素灰度值分布DL和DR。

2）分布生成按像素灰度值從小到大排列的矩陣 ML和 MR。

3） 根據 ML調整 MR獲得 MR′。

4）按照MR′對應的坐標位置，恢復成調整后的右圖 IR′。

5）以IL和IR′作為新的輸入，并通過IGSM算法獲得新的視差圖。

圖3 像素灰度值分布

圖4 像素值調整后通過IGSM算法獲得的視差圖結果

4 算法測試

為了驗證文中提出的基于像素值調整的立體匹配算法在準確率上的提升進行了如下的實驗。采用了KITTI提供的道路場景數據集，因為該數據庫中許多圖片中都含有陰影。我們選取了提供ground truth的圖片做定量分析，并選取了一些未提供ground truth的圖片做定性分析。圖4顯示的是圖1場景經過視差調整后使用IGSM算法獲得的視差圖。

將圖4與圖2比較，可以觀察到，圖2中大部分無法匹配點和誤匹配點都得到了修正。路面部分原本的空缺基本已被填補，不連續的區域也變得平滑。樹葉部分也得到了一定的改善。

我們將KITTI測試集的圖片原圖的與調整后圖片分別作為IGSM的輸入。將得到的視差圖結果與ground truth進行比較，定量標準采用錯誤匹配像素百分比[6]。未進行調整的數據圖片通過IGSM獲得視差圖的平均錯誤率為12.460 1%。而使用我們的算法調整后的圖片得到的視差圖，在該數據集上的平均錯誤率為9.827 1%。可見，我們的算法在一定程度上提高了IGSM算法的準確性。觀察測試集，我們發現幾乎所有包含斑駁陰影的圖片在使用我們的調整算法后獲得的視差圖都得到較大的改善，證明我們的算法在應對這一場景時是有顯著效果的。圖5為數據集中含有大面積斑駁陰影的匹配圖在使用我們提出的調整方法前后的輸出視差圖結果對比。上面是數據集中的原圖，中間是使用原圖得到的視差圖，下面是使用調整后的匹配圖作為輸入得到的視差圖。

圖5 KITTI數據集結果實例

5 結 論

在包含大面積斑駁陰影的場景中，立體匹配算法一般難以找到準確的匹配點。本文提出的基于像素值調整的立體匹配算法是以一副匹配圖像作為基準，調整另一幅的像素灰度值分布，使得調整后的兩幅圖片對應點間的像素值盡量相近，以減少計算匹配度時，在顏色代價中所產生的誤差。實驗的結果顯示該算法能夠很好地解決存在斑駁陰影的圖片難以找到準確匹配點的問題，極大地提升了立體匹配算法在這一場景中的魯棒性。

[1]佟帥，徐曉剛，易成濤，等.基于視覺的三維重建技術綜述[J].計算機應用研究，2011，28（23707）：2411-2417.

[2]王大偉，嚴俊，王彬，等.視頻序列的運動估計技術綜述[J].電視技術，2012，36（3）：20-23.

[3]趙沁平.虛擬現實綜述[J].中國科學，2009（1）：2-46.

[4]朱淼良，姚遠，蔣云良.增強現實綜述[J].中國圖象圖形學報，2004，9（7）：767-774.

[5]楊殿閣，李克強，鄭四發，等.智能交通系統中的汽車技術[J].汽車工程，2003，25（3）：223-226.

[6]Scharstein D，Szeliski R.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[C]//Stereo and Multi-Baseline Vision.2001：131-140.

[7]Zhan Y，Gu Y，Huang K，et al.Accurate Imageguided Stereo Matching with Efficient Matching Cost and Disparity Refinement [J]. IEEE Transactions on Circuits& Systems for Video Technology，2015：1-1.

[8]Scharstein D，Hirschmüller H，Kitajima Y，et al.High-Resolution Stereo Datasets with Subpixel-Accurate Ground Truth[M]//Pattern Recognition.2014：31-42.

[9]Menze M，Geiger A.Object scene flow for autonomous vehicles[C]//Computer Vision and Pattern Recognition.IEEE，2015.

[10]Riem d O M，Sappa A，Santos V.A probabilistic approach for color correction in image mosaicking applications.[J].IEEE Transactionson Image Processing A Publication of the IEEE Signal Processing Society，2015，24（2）：508-523.

[11]Li K，Dai Q，Xu W.Collaborative color calibration for multi-camera systems[J].Signal Processing Image Communication，2011，26（1）：48-60.

[12]Jung J I，Ho Y S.Color Correction for Multi-view Images Using Relative Luminance and Chrominance Mapping Curves[J].Journal of Signal Processing Systems，2013，72（2）：107-117.

[13]Xiong，Yingen，Pulli，K.Color matching for high-quality panoramic images on mobile phones[J].IEEE Transactions on Consumer Electronics，2010，56（2）：298-306.

[14]Shao F，Jiang G Y，Yu M，et al.Fast color correction formulti-view videoby modeling spatio-temporal variation [J].Journal of Visual Communication&Image Representation，2010，21（5-6）：392-403.

[15]Heo Y S，Lee K M，Lee S U.Robust stereo matching using adaptive normalized crosscorrelation.[J].Pattern Analysis & Machine Intelligence IEEE Transactions on，2010，33（4）：807-822.

Stereo matching algorithm based on color adjustment

WANG Wen-hao1，2，ZHANG Xiao-lin1
（1.Shanghai Institute of Microsystem And Information Technology，Shanghai 200042，China；2.ShanghaiTech University，Shanghai 201210，China）

In order to improve the robustnessof stereo matching algorithm applied in realistic scenes which contain dappled shade，we proposed a new method based on color adjustment.This algorithm set one of the stereo images as the standard and adjust another image’s color distribution which make the stereo images have the almost same color distribution.The results show our new method can handle the dappled shade area well and can rise the disparity’s accuracy in these scenes.

color adjustment；stereo matching；dappledshade；disparity

TN919.8

：A

：1674－6236（2017）13-0021-04

2016-05-11稿件編號：201605096

中國科學院戰略性先導科技專項（B類）（XDB02080005）；上海張江國家資助創新示范區專項發展資金（ZJ2015-ZD-001）

王文浩（1992—），男，浙江溫州人，碩士研究生。研究方向：計算機視覺。