基于融合代價和優化引導濾波的立體匹配算法

余嘉昕，王春媛，韓 華，高 燕

（上海工程技術大學 電子電氣工程學院，上海 201620）

0 概述

雙目立體匹配是雙目立體視覺的重要研究內容之一，通過對雙目相機所拍攝并經過極線校正的左、右圖進行逐點匹配，計算各像素點的視差值，其精度影響了后續立體場景形狀和大小的恢復，被廣泛應用于三維重建、無人駕駛、生物醫學、機器人等領域［1-3］。SCHARSTEIN 等［4］將立體匹配算法分為匹配代價計算、代價聚合、視差計算和視差優化4 個步驟，并根據約束條件的不同，將立體匹配算法分為局部立體匹配算法和全局立體匹配算法。

全局立體匹配算法通過最小化全局能量函數得到最佳的視差值，常用的全局立體匹配算法有置信度傳播法［5］、動態規劃法［6］、圖割法［7］等。全局立體匹配算法的優缺點均很明顯，其優點為精度較高，缺點為算法較復雜，計算速度緩慢，因此不適合實時性要求高的場合。局部立體匹配算法大多根據像素點確定局部變換域（也稱變換窗口），根據局部變換域中像素點的灰度、梯度等特征量計算匹配代價。局部立體匹配算法誤匹配率較高、視差結果精度較低，但是它比全局立體匹配算法的計算量更小、速度更快，這些優點使其能達到實時匹配的要求，可以被更好地應用到實際中。

匹配代價計算是局部立體匹配算法的第1 步，其重要性不言而喻。常用的匹配代價算法有絕對差（Absolute Difference，AD）、絕對差之和（Sum of Absolute Difference，SAD）［8］、歸一化互相關（Normalized Cross Correlation，NCC）和Census 變換算法等。其中，AD 變換和SAD 變換可以較好地反應像素點的灰度變化，但對光照強度的變化以及噪聲較敏感，NCC 算法對窗口大小的依賴性較高，Census 變換對光照具有良好的抗干擾性，但在重復紋理和相似紋理區域的匹配精度不高。為克服單一匹配代價的缺陷，近年來不少學者采用復合代價作為初始匹配代價。MEI 等［9］針對AD 變換和Census變換的不足，提出AD-Census 變換算法，彌補了單個變換的不足，但是兩代價的權重為固定值。在此基礎上，WANG 等［10］提出與像素點的區域特性相結合的自適應權重AD-Census 變換匹配代價。ZHANG等［11］通過融合梯度信息、AD 變換和Census 變換來構造匹配代價，提升了匹配的效果。

經匹配代價計算所得的初始匹配代價含有的信息較少，只能體現像素間的局部相關性，經代價聚合得到的代價能夠更準確地反應出像素間的相似關系。ZHANG 等［12］通過設置空間和顏色閾值自適應地構造十字交叉域，以進行代價聚合。在此基礎上，MEI 等［9］設置更為嚴苛的約束條件來構建十字交叉域，提升了聚合的效果。但兩者都需先計算十字臂長度且各像素代價以同等權重參與聚合。HOSNI等［13］提出利用引導濾波器進行代價聚合，該算法計算量較小，可以很好地保持邊緣，但由于引導濾波的線性系數受選定的正則化參數的影響，導致代價聚合效果不理想，從而影響最終視差圖的精度。

近年來，隨著深度學習的不斷發展，國內外學者通過卷積神經網絡（Convolution Neural Network，CNN）來估算視差［14］，如GC-Net［15］、PSM-Net［16］、GANet［17］、AA-Net［18］等?；谏疃葘W習的立體匹配算法雖然匹配精度較高，但訓練時需要大量數據，且泛化能力較差，因此在實際生活中的應用受限。

為提升視差圖的精度，本文提出一種基于融合代價與優化引導濾波的立體匹配算法。在匹配代價計算階段，將多指標梯度代價和精細化Census 變換匹配代價按一定權重進行融合，并將其作為初始匹配代價。其中，多指標梯度代價依據窗口內像素的梯度、梯度平均值和梯度標準差3 個指標進行計算，精細化Census 變換匹配代價根據設定的閾值將窗口內兩像素的差值劃分為7 個等級，生成左圖、右圖窗口中心像素的精細化Census 變換字符串，并計算兩字符串的漢明距離，將其作為匹配代價。在代價聚合階段，利用梯度變化對引導濾波的線性系數進行自適應優化，提升代價聚合效果，最后通過視差計算和視差優化得到視差圖。

1 匹配代價計算

1.1 精細化Census 變換匹配代價

Census 變換是一種非參數的局部變換，它通過以變換像素點為中心建立鄰域窗口（大小為n×n，n為奇數），比較鄰域窗口內像素點與中心像素點的灰度值大小，把灰度大于或等于中心像素點灰度的標記為0，否則標記為1，得到一個由0 和1 組成的字符串，計算匹配點與其對應點的字符串的漢明距離，并將其作為Census 變換匹配代價。由Census 變換字符串的生成原理可以看出，Census 變換在對窗口中心像素點與窗口內其他像素點的灰度值進行大小比較時，只是籠統地進行大小分類，對于大小的差異等級并沒有進一步區分，極易出現誤匹配的情況。

針對該問題，本文提出精細化Census（簡稱RCensus）變換，在比較鄰域窗口內像素點(r，l)與中心像素點(u，v)的灰度值大小時，首先設定閾值t1和t2（t1＜t2），并根據設定的閾值將兩像素點的灰度值差異程度劃分為7 個等級，然后根據劃分的等級生成對應的編碼。最后再將編碼按位連接，得到變換后的由1、2、3、4、5、6、7 組成的字符串，即為窗口中心像素點的RCensus 變換字符串。同樣方法求取右圖中對應像素點(u-d，v)的RCensus 變換字符串，兩字符串之間的漢明距離即為像素點(u，v)的RCensus 變換匹配代價，計算式如下：

其中：ξ為比較函數；I為像素點的灰度值；CT(u，v)為像素點(u，v)經過RCensus 變換得到的字符串；?表示位連接運算；ωRCensus(u，v)表示以像素點(u，v)為中心的窗口變換域；(r，l)為該窗口內的像素點；(u，v)、(ud，v)分別為左圖中像素點(u，v)和右圖中像素點(ud，v)的RCensus 變換字符串；CRCensus(u，v，d)為像素點(u，v)的RCensus 變換匹配代價。

以3×3 窗口為例，Census變換和RCensus變換字符串生成過程和漢明距離的計算過程如圖1 所示，其中t1、t2的取值分別為6和16?？梢钥闯?，例中兩點不是同名點，但它們的Census 變換匹配代價均為0，產生誤匹配的概率很大。而該兩點的RCensus 變換匹配代價為6，可避免誤匹配的產生。

圖1 Census 變換和RCensus 變換字符串生成過程和漢明距離的計算過程Fig.1 String generation process and the Hamming distance calculation process of Census transformation and RCensus transformation

1.2 多指標梯度代價

梯度能反映圖像的邊緣、紋理等結構信息且對光照失真不敏感。為進一步提高匹配代價的全面性和準確性，本文提出多指標的梯度代價。首先計算左右圖像各像素點的梯度值，再計算匹配窗口內像素梯度平均值和標準差，然后計算左、右圖的匹配窗口內各像素點梯度絕對差之和、窗口內梯度平均值的絕對差以及窗口內梯度標準差的絕對差，將三者之和作為多指標梯度代價。梯度值反映了相鄰像素點的灰度值變化程度，梯度平均值反映了窗口內像素梯度的整體集中趨勢，梯度標準差反映了窗口內像素梯度的離散程度，三者的結合可以精準地預測出待匹配點鄰域窗口內的詳細結構，這樣計算的代價也更加全面。多指標梯度代價計算式如式（4）所示：

其中：gL(x，y)為左圖中像素點(x，y)的梯度；gR(xd，y)為右圖中像素點(x-d，y)的梯度；為窗口內像素梯度平均值；s為窗口內像素梯度標準差；ωgrad(u，v)是以(u，v)為中心像素點的多指標梯度代價窗口。

1.3 多指標梯度代價與RCensus變換匹配代價的融合

為了讓匹配代價在反映待匹配像素之間的相似性時更加精準和全面，本文將多指標梯度代價與RCensus 變換匹配代價按一定的權重進行融合，并作為初始匹配代價，表達式如下：

其中：λgrad和λRCensus分別為多指標梯度代價與RCensus 變換匹配代價的權重。

2 代價聚合

2.1 引導濾波

引導濾波［19］是一種基于局部線性模型的邊緣保持算法，其表達式如式（7）所示：

其中：I為引導圖像；q為輸出圖像；ωk為以像素點k為中心的局部窗口；ak和bk為引導濾波模型在該局部窗口的線性系數；i為窗口ωk內的點。因此，可以通過構造損失函數求得最優的ak和bk，其表達式如下：

其中：μk和分別為引導圖像I在窗口ωk中的平均值和方差；|ω|為窗口ωk的像素點個數；正則化參數ε用來防止ak過大；pi為輸入圖像上像素點i的像素值；為輸入圖像在窗口ωk內的像素平均值。

將式（7）兩邊同時求梯度，可以得到：

由式（10）可以看出，引導濾波可以使輸出圖像q的梯度信息與引導圖像I的梯度信息保持一致。ak越大，梯度信息所占的權重越大，此時，濾波器的邊緣保持能力越強，平滑力度越小。反之，ak越小，梯度信息所占的權重越小，濾波器的邊緣保持能力越弱，平滑力度越大。由式（8）可以看出，固定的正則化參數ε使得ak不能根據圖像區域的不同進行完全的自適應調整，導致濾波后的圖像出現局部平滑過度或平滑不足的現象。

2.2 引導濾波的優化

為了讓引導濾波能夠對邊緣區域的邊緣保持能力和對平滑區域的平滑性能進行自適應調節，本文對引導濾波中的系數ak附加一個權重wk進行優化，權重wk由引導圖像中某點的梯度和局部窗口ωk中梯度平均值計算得到，優化后ak′的表達式如下：

其中：gk為中心像素點k的梯度；為窗口ωk的梯度平均值；α和β為預先設定的參數。

由式（12）可以看出，當某像素與計算窗口內各像素處于灰度不一致的邊緣區域時，其梯度值與窗口內像素的梯度平均值之比勢必會遠大于1 或遠小于1，這時wk增大，增大，加強了引導濾波的邊緣保持能力。當某像素與計算窗口內各像素處于灰度一致的平滑區域時，其梯度值與窗口內像素的梯度平均值之比接近于1，這樣wk值減小，減小，加強了引導濾波的平滑能力。當=0 時，表明局部窗口處于絕對平滑區域，此時wk=0，=0，相當于對此局部窗口進行均值濾波。因此，優化引導濾波器可達到依據不同區域自適應調節濾波功能的目的，能夠提升濾波的質量。

最后，使用勝者為王算法（Winner-Take-All，WTA）在代價空間中選取最小聚合代價所對應的視差值作為初始視差，再使用左右一致性檢測（Left-Right Consistency check，LRC check）判斷初始視差圖的誤匹配點，并對其進行修正填充，使用加權中值濾波對視差圖進行優化。

3 實驗結果與分析

本文實驗對象為Middlebury V3［20-21］立體評估平臺提供的training set 中的15 組經過極線校正后的圖像對。本文采用誤匹配率（percentage of bad matching pixels）作為客觀評價標準，表達式如下：

其中：dC(u，v)為計算所得的視差圖中像素點的視差值；dGT(u，v)為對應像素點在真實視差圖（Ground Truth）中的視差值；σd為誤匹配評判閾值；N為真實視差圖中有效像素點的總數。

實驗涉及的參數設置：t1=6，t2=16，λRCensus=15，λgrad=20，ε=0.001，α=1，β=0.2，nRCensus=9，ngrad=7，nfiltering=9，σd=4。

3.1 初始匹配代價效果驗證

將Census 變換匹配代價算法、本文提出的RCensus 變換匹配代價算法以及本文提出的融合代價算法進行比較，驗證所提融合代價算法的效果。3 種算法均不進行代價聚合與視差優化，只通過WTA 算法得到初始視差圖，以Teddy 圖像為例，其初始視差圖如圖2 所示。

圖2 不同匹配代價算法的初始視差圖對比Fig.2 Comparison of initial disparity maps of different matching cost algorithms

圖2 中第1 行是不同匹配代價算法得到的Teddy圖像的視差圖，圖2 中第2 行是視差圖的細節放大圖。可以看到，相較于傳統算法，本文算法的視差圖邊緣較清晰，在相似紋理區域、弱紋理區域和視差不連續區域的噪聲較小。3 種算法中，融合代價算法的表現效果最好。

為了對以上3 種匹配代價算法進行定量比較，計算3 種方法所得15 組圖像的初始視差圖在非遮擋區域（non）和全部區域（all）的加權平均誤匹配率，結果如圖3所示?？梢钥闯?，不論是本文所提的RCensus 變換算法還是融合代價算法，其精度都優于傳統Census算法。

圖3 不同匹配代價算法的加權平均誤匹配率Fig.3 Weighted average of percentage of bad matching pixels of different matching cost algorithms

3.2 代價聚合的效果驗證

為驗證所提優化引導濾波代價聚合算法的效果，將所提算法與引導濾波代價聚合算法進行比較。兩種算法均使用本文所提融合匹配代價計算方法計算初始匹配代價，分別用引導濾波和優化引導濾波進行代價聚合，均通過WTA 算法計算視差，且均不進行視差優化。兩種不同代價聚合算法所得15 組圖像的視差圖在非遮擋區域和全部區域的加權平均誤匹配率如表1 所示?？梢钥闯?，本文所提算法優于傳統算法。

表1 不同代價聚合算法的加權平均誤匹配率Table 1 Weighted average of percentage of bad matching pixels of different cost aggregation algorithms %

3.3 不同算法對比分析

將本文算法與其他4 種現有的立體匹配算法（Cens5［22］、IGF［23］、ISM［24］和ADSR_GIF［25］）進行對比，進一步驗證本文算法的有效性。5 種算法的部分視差圖如圖4 所示。可以看出，本文算法所得結果都比較清晰、完整?？傮w來看，本文算法的邊緣保持效果較好，噪聲較小，物體表面較平滑，視差圖效果優于其他算法。

圖4 不同算法得到的視差圖對比Fig.4 Comparison of disparity maps obtaincd by different algorithms

將5 種算法所得15 組圖像的視差圖在非遮擋區域和全部區域的誤匹配率進行比較，結果如表2 和表3 所示?？梢钥闯?，本文算法在非遮擋區域和全部區域的加權平均誤匹配率均低于另外4 種算法，因此，本文算法精度較高，穩定性較好。

表2 不同算法在非遮擋區域的誤匹配率對比Table 2 Comparison of percentage of bad matching pixels of different algorithms in non-occlusion regions %

表3 不同算法在全部區域的誤匹配率對比Table 3 Comparison of percentage of bad matching pixels of different algorithms in all regions %

為進一步說明算法的實用性，使用本文算法在遙感圖像中進行立體匹配，實驗結果如圖5 所示?？梢钥闯觯疚乃惴ㄋ靡暡顖D與真實視差圖基本一致，可以很好地保留圖像的輪廓信息，具有一定的實用性。

圖5 本文算法在遙感圖像中的應用Fig.5 Application of algorithm in this paper in remote sensing images

4 結束語

基于現有局部立體匹配算法，本文提出一種基于融合代價和優化引導濾波的立體匹配算法。在匹配代價計算階段依據梯度信息、梯度的平均值和梯度的標準差計算多指標梯度代價，并將7 等級編碼的精細化Census 變換匹配代價與之融合形成初始匹配代價，以更加全面地體現像素點的區域特性，顯著降低誤匹配率。在代價聚合階段提出一種優化引導濾波算法，該算法具有自適應調節濾波性能的優點，能夠提升計算準確性。在Middlebury V3 立體評估平臺上的實驗結果表明，本文算法可以獲得精度較高的視差圖，在遙感圖像上也能很好地解決匹配問題。下一步將收集或拍攝不同環境下的雙目圖像數據，對立體匹配算法進行多方面測試與優化，使其能更好地運用于實際生產和生活中。