基于RGB三分量亮度法線相似度的立體匹配算法

高凱

（長春理工大學 電子信息工程學院，長春 130022）

稠密雙目立體匹配是計算機視覺領域中廣泛研究的問題之一。稠密立體匹配是三維重建、立體導航、非接觸測距等技術的關鍵步驟，并且廣泛應用于無人駕駛汽車（測距，導航）、機器人智能控制、遙感圖像分析、安防監控、工業生產自動化、流水線控制等方面。立體匹配的目的就是找到在同一個場景中，兩個攝像機采集到的圖片之間的相應的匹配點，而這些相應點之間的位置差異就構成了視差圖。一般來說，立體匹配算法包含四步[1］：匹配代價計算，代價聚合，視差計算和視差修正。第一，計算所有可能視差范圍內的匹配代價；第二，計算每個像素支持區域內的代價聚合，而支持區域由局部匹配算法和全局匹配算法進行選擇；第三，視差通過局部或者全局優化計算；第四，通過各種后處理方法進行視差結果修正。

根據能否得到基于區域的解，匹配算法可以分為全局算法和局部算法。一般來說，全局算法可以得到更精確的視差圖。典型的全局算法是圖割法[2］，置信度傳播法[3，4］和動態規劃法[5，6］，這些算法需要在能量函數中包含平滑因子。典型的局部算法是基于窗的代價聚合。基于自適應權值的局部立體匹配算法[7］提出了通過計算支持窗中像素值相似度和幾何空間相似度來獲得每個像素的權值。相比于全局方法，局部方法具有簡單高效的特點，并獲得了較好的視差結果。為了減少由Lab空間到RGB空間的信息損失，Geng等提出了RGB矢量空間中的立體匹配算法，其應用像素值相似度、空間幾何距離相似度和梯度相似度來計算像素權值，獲得了較精確的結果。受到Geng等的思想的啟示，前期工作中提出了亮度法線的概念[9］，繼而提出了基于亮度法線相似度、梯度相似度、像素值相似度和空間幾何距離相似度的立體匹配方法，因為亮度法線反映了圖像的高頻信息，因此算法改進了視差圖的邊緣精度。本文在前期研究的基礎上，分析了RGB三分量的特性，并提出了基于RGB三分量亮度法線矢量的局部立體匹配算法來改進視差圖的精度。算法從RGB三分量亮度法線矢量反映的各分量的高頻信息入手，分析其影響了立體匹配環節中的圖片邊緣的匹配精度，經與文獻[8］比較，實驗結果顯示，本文提出的算法提高了圖像邊緣位置的匹配精度。

1 RGB三分量亮度法線的概念

在前期工作中[9］，提出了二維灰度圖像的亮度法線矢量的概念。而對于RGB彩色空間的彩色圖像，可以視為三個灰度圖像的疊加，每一個分量都有一個亮度法線矢量，因此，提出了RGB三分量亮度法線矢量的概念。如圖1所示，點A是含有RGB彩色分量的當前點，R平面代表R分量，G平面代表G分量，B平面代表B分量。

圖1 計算RGB三分量亮度法線矢量示意圖

例如，A可以表示為A（AR，AG，AB），其中AR，AG和AB分別為RGB空間中A點的紅、綠、藍彩色分量。B（BR，BG，BB）和C（CR，CG，CB）分別是計算A點法線矢量的臨近點。A點到C點和A點到B點的矢量分別為：

A點的R，G和B分量的法線矢量通過矢量vec1i和vec2i的叉乘獲得：

歸一化A點的R，G和B分量亮度法線矢量：

其中，i∈{R，G，B}。

圖2 RGB三分量法線相關結果

圖2顯示了彩色圖像對的紅綠藍三分量的法線圖像相關結果。圖2（a）（b）分別是立體彩色圖像的左右圖像。圖2（c）（d）（e）的第一行分別是左圖像對應的紅綠藍成分，圖2（f）（g）（h）的第一行分別是右圖像對應的紅綠藍成分。圖2（c）的第二行是紅色分量的法線圖像，圖2（c）的最底一行是法線圖像的模圖像。其他圖像依次類推。

根據圖2顯示，相同圖像的RGB分量的灰度值是不同的，但立體圖像對之間的R（BC）平面的灰度值確是相近的。圖 2（c）（d）（e）（f）（g）（h）的第二行圖像顯示了法線矢量圖像，其反映了第一行圖像的高頻信息，而高頻信息對于立體匹配算法是有重要意義的，因此本文將RGB分量的法線矢量應用于立體匹配算法當中。

2 算法模型

本文提出通過計算彩色圖像像素值相似度、空間幾何距離相似度、梯度相似度和RGB亮度法線相似度的多相似度測量方法來計算支持窗權值。

2.1 支持權值計算

支持窗內像素的權值計算通過如下公式：

2.2 聚合與視差計算

參考圖像與目標圖像之間的窗內像素的權值計算用差異點函數E表示：

其中，Δcq→q→d，Δ gradxq→q→d，Δ gradyq→q→d和 Δnq，qd分別通過（9）（10）（11）（12）獲得，λc，λgradx，λgrady，λn是常數。

其中D={dmin，…，dmax}是視差搜索范圍。

2.3 視差修正

將左右兩幅原圖像分別作為目標圖像和參考圖像，進行兩次匹配運算。會存在遮擋問題，因此為了修正視差，對兩幅視差圖進行一致性檢測：

其中，dL(x，y)和dR(x，y)分別是左圖像和右圖像作為參考圖像得出的視差。在一致性檢測當中，如果失敗，則視為是壞點，則用重新計算后的最大支持權重的像素的視差作為壞點位置的新視差。圖3顯示了修正后的視差結果。圖3（e）是修正后的結果優于圖3（b）初始結果.

圖3 視差圖修正

圖4 實驗比較結果

3 實驗結果及討論

立體圖像對‘tsukuba’，‘venus’，‘teddy’，‘cones’由Middlebury測試平臺提供。支持窗尺寸為35×35，常數τc=30，λc=40，τd=10，λgradx=20，λgrady=10 ，τg=30[8］，τn=40 ，λn=1對于測試圖像對都是一致的。為了評價提出的算法，采用了Ground truth[1］和文獻[7］中結果進行比較，圖4為主觀比較結果。圖4（a）和圖4（b）分別是彩色圖像和ground truth。圖4（c）和圖4（d）分別是文獻[8］和本文提出的視差圖。本文實驗中的誤差門限Th=1.灰色和黑色區域越少，視差圖精度越高，從圖4（c）和圖4（d）可以看出，本文提出的方法得到的結果優于文獻[8］。特別強調的是，本文結果的邊緣位置匹配精度明顯提高。

為了獲得客觀的評價，Middlebury測試平臺給出了相應的結果，視差圖可以分為三個部分：所有像素，非遮擋區域，和深度不連續區。當生成的視差圖和Groundtruth之間的絕對差小于Th，生成的視差圖被認為是正確的。表1和表2分別是Th=1和Th=0.5對應的結果。為了評價提出算法的客觀性，將提出的算法與其他局部自適應權值方法[7，8，10，11-13］進行比較。比較結果如表1和表2所示。提出的算法（ASW-N）提高了匹配精度，結果顯示提出的算法得到的誤匹配點低于其他方法，尤其是Th=0.5時，更為明顯。提高的精度歸功于RGB法線矢量相似度，也驗證了其高頻信息影響立體圖像對的匹配精度的猜想。

4 結論

本文中，提出了基于彩色像素值相似度、空間距離相似度、梯度相似度和RGB三分量亮度法線矢量相似度的改進型自適應權值算法，通過對RGB三分量法線的分析，凸顯了法線信息反映了圖像的高頻信息分量。通過增加法線信息來改進自適應權值計算方法。實驗結果顯示，相比于其他自適應權值算法，本文提出的算法可以提高匹配精度，尤其在含有紋理區域更為明顯。從總體上來看，平均提高誤匹配率達到0.4%。在今后的研究當中，會進一步根據圖像的特點，研究相應的光學特性來改進算法。

表1 提出方法在Middlebury stereo benchmark中的特性比較（誤差門限為1.0）

表2 提出方法在Middlebury stereo benchmark中的特性比較（誤差門限為0.5）

[1]Scharstein D，Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J］.InternationalJournal of ComputerVision，2002.47（1-3）：7-42.

[2]Hong L，Chen G.Segment-based stereo matching using graph cuts[C］.in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.2004.1（1）：74-78.

[3]Yang Q，Wang L，Ahuja N.A constant-space belief propagation algorithm forstereo matching[C］.in Proceedings of IEEE Conference Computer Vision and Pattern Recognition，2010：1458-1465.

[4]Sun J，Zheng N.-N.，Shum H.-Y..Stereo matching using beliefpropagation[J］.IEEE Trans.Pattern Anal.Machine Intell，2003，25（7）：787-800.

[5]Lei C，Selzer J，Yang Y.Region-tree based stereo using dynamic programming optimization[J］.ComputerVision and Pattern Recognition，2006（2）：2378-2385.

[6]Chang X，Zhou Z，Wang L，et al.Real-time accurate stereo matching using modified two-pass aggregation and winner-take-all guided dynamic programming[C］.International Conference on 3D Imaging，Modeling，Processing，Visualization and Transmission，2011：73-79.

[7]Yoon K.-J.，Kweon I.-S..Adaptive support-weight approach for correspondence search[J］.IEEE Trans.Pattern Anal.Mach.Intell，2006，28（4）：650-656.

[8]Yingnan Geng，Yan Zhao，Hexin Chen.Stereo matching based on adaptive support-weightapproach in RGB vectorspace[J］.Applied Optics，2012，51（16）：3538-3545.

[9]Kai Gao，Yan Zhao，He-xin Chen，et al.Stereo matching algorithm based on illumination normal similarity and adaptive support-weight[J］.Optical Engineering，2013.52（2）：027201-1--027201-7.

[10]De-MaeztuL，VillanuevaA，CabezaR.Stereo matching using gradient similarity and locally adaptive support-weight[J］.Pattern Recognition Letters，2011，32（13）：1643-1651.

[11]Gu Z，Su X，Liu Y，et al.Local stereo matching with adaptive support-weight，rank transform and disparity calibration[J］.Pattern Recogn.Lett，2008，29（9）：1230-1235.

[12]Hu W，Zhang K，Sun L，et al.Virtual support window for adaptive-weight stereo matching[J］.Visual Communications and Image Processing，2011（8）：1-4.

[13]L.Nalpantidis，A.Gasteratos.Biologically and psychophysically inspired adaptive support weights algorithm for stereo correspondence[J］.Robot.Auton.Syst，2010（58）：457-464.