基于迭代指導濾波的立體匹配方法

李金鳳 邊繼龍

1(牡丹江師范學院計算機與信息技術學院 黑龍江 牡丹江 157011)2(東北林業大學計算機與信息工程學院 黑龍江 哈爾濱 150040)

基于迭代指導濾波的立體匹配方法

李金鳳1邊繼龍2

1(牡丹江師范學院計算機與信息技術學院 黑龍江 牡丹江 157011)2(東北林業大學計算機與信息工程學院 黑龍江 哈爾濱 150040)

針對立體匹配當中的匹配精度問題，提出一種基于迭代指導濾波的立體匹配方法。該方法首先利用自適應窗口方法根據圖像的灰度變化自適應地選擇支撐窗口，再根據指導濾波累積原始匹配成本，并采用“勝者全取”方法計算視差，然后利用計算視差對匹配成本進行修正，進行再次累積并計算視差，最后反復迭代這一過程直到達到最大的迭代次數為止。實驗結果表明，該方法可以獲得較高精度的視差圖，而且對立體像對中的不連續區域具有較強的魯棒性。

立體匹配 自適應窗口 指導濾波 自適應權重

0 引 言

立體匹配是計算機視覺領域中的一個熱點問題，它利用同一場景的兩幅或者多幅圖像抽取場景的三維信息。到目前為止，已經提出大量立體匹配方法[1]解決立體對應問題，這些立體匹配方法根據視差選擇方式不同可大致分為：局部立體匹配方法和全局立體匹配方法。局部立體匹配方法[2-7]是利用“勝者全取”方法選擇視差，而全局立體匹配方法[8]則是通過優化算法選擇視差。這些立體匹配方法最終都是通過最小化匹配成本選擇視差，因此定義和計算匹配成本是局部及全局立體匹配方法的關鍵所在。匹配成本的好壞直接影響立體匹配方法的匹配精度，其一般計算方法是通過在一個預定義支撐區域內累積原始匹配成本即成本累積。成本累積主要包含兩類：一類是基于自適應窗口的成本累積方法，另一類是基于自適應權重的成本累積方法?；谧赃m應窗口成本累積方法的主要原理是為每一點選擇一個合適的支撐窗口，盡量保證窗口內所有像素點的視差都等于待匹配點的視差，即保證支撐窗口內的局部場景符合“前視平坦”假設。如果當支撐窗口內像素點的視差存在較大變化時，則會導致立體匹配方法產生邊界膨脹現象。這種現象多發生在物體邊界處，這是因為在物體邊界處的支撐窗口經常包含了不同視差。基于自適應權重成本累積方法的主要思想是根據指導圖像為支撐窗口內的像素點計算權重信息，然后根據其相應的權重信息累積原始匹配成本。該方法具有較高的匹配精度，其精度接近于全局立體匹配方法，但該方法的時間復雜度過高。

Yoon[3]等在2006年提出一種基于自適應權重的立體匹配方法，該方法利用雙邊濾波累積原始匹配成本，然后通過“勝者全取”方法計算視差值。該方法可以獲得高精度的視差圖，但是該方法的時間復雜度較高，之后人們陸續提出一些改進措施降低了該方法的時間復雜度。由于基于自適應權重的立體匹配方法具有較高的匹配精度，因此該類方法已成為當前立體匹配研究領域中的一個熱點問題。He Kaiming[4]在2010年提出一種指導圖像濾波，該方法根據指導圖像內容計算濾波輸出。指導濾波是一種邊保護濾波，它類似于雙邊濾波。但該方法在邊緣附近有更好的效果，而且該方法接近于線性時間復雜度，獨立于濾波核大小。Hosni[5]等在2011年利用He Kaiming提出的指導濾波設計一種基于指導濾波的立體匹配方法，該方法的立體匹配效果優于Yoon等提出的基于自適應權重的立體匹配方法。但是由于該方法利用指導濾波計算匹配成本時采用的是固定窗口，因此該方法在物體邊界處發生膨脹現象。

為解決基于指導濾波的成本累積方法在物體邊界處產生膨脹問題，同時為增強匹配成本的魯棒性以提高立體匹配精度，本文提出一種基于迭代指導濾波的立體匹配方法，該方法主要有以下兩點貢獻：首先提出一種自適應窗口方法以解決支撐窗口跨越邊界導致視差圖在物體邊界處產生膨脹問題；其次為增強匹配成本的魯棒性，提出一種基于指導濾波的迭代成本累積方法。

1 基本理論

Hosni等利用He Kaiming提出的指導濾波設計一種基于指導濾波的立體匹配方法，該方法的匹配精度優于其它局部立體匹配方法。指導濾波的主要思想：假設濾波輸出q與指導圖像I在局部范圍內符合線性模型，其線性模型表達式為：

qi=akIi+bk?i∈Nk

(1)

式中，ak、bk分別表示線性系數，Nk表示以像素點k為中心的局部窗口?，F假定在局部窗口Nk內，濾波輸入p和濾波輸出q滿足如下關系：

qi=pi-ni

(2)

式中，n表示高斯噪聲。由于局部窗口內的所有像素點都滿足式(2)，因此可以為每個局部窗口建立如下形式的成本函數：

(3)

式中，ε表示規范常量。為求解線性系數ak和bk，利用最小二乘法對成本函數式(3)最小化得：

(4)

(5)

如果將式(1)的線性模型應用到整幅圖像，則每個像素點i獲得|N|個不同的濾波輸出。這是因為在圖像空間中，有|N|個不同的局部窗口包含像素點i，這些局部窗口將分別產生不同的濾波輸出。為給每一像素點i確定唯一一個濾波輸出值，比較簡單有效的方式是對這些濾波輸出求平均，由此可得：

(6)

由于矩形支撐窗口具有對稱性：

(7)

因此，式(6)可以簡化為：

(8)

在基于指導濾波的立體匹配中，就是利用式(8)對原始匹配成本進行累積。在計算累積成本時，其指導濾波的輸入p為視差空間圖中的每一視差d所對應的二維成本矩陣c(:,d)即視差空間圖按d維切割的二維數組，指導圖像I為參考圖像IL，像素點i的累積成本C(i,d)可表示為：

(9)

2 算法實現及關鍵步驟

本文提出一種基于迭代指導濾波的立體匹配方法。該方法首先提出一種自適應窗口方法以解決局部立體匹配當中的邊界膨脹問題，然后提出一種基于迭代指導濾波的成本累積方法以提高匹配成本對噪聲的魯棒性，確保匹配成本能準確地反映匹配約束。

2.1 自適應窗口

在此，本文首先分析指導濾波特點，然后結合立體匹配當中成本累積的要求，提出一種基于自適應窗口的指導濾波方法累積匹配成本。為了方便分析指導濾波的行為，本文假設指導圖像I恒等于濾波輸入p。在這種情況下，式(4)中的ak和bk簡化為：

bk=1-akμk

(10)

(11)

式中，φ(k)表示像素點k的最優支撐窗口大小，λ表示預定義灰度變化閾值。根據指導圖像的灰度變化自適應地為每一待匹配點確定支撐窗口大小，在弱紋理區域選擇較大的支撐窗口，而在紋理區域選擇較小的支撐窗口。

2.2 迭代指導濾波

本文利用計算視差圖提供的先驗信息，提出一種迭代指導濾波方法來增加立體匹配的準確率。該方法的主要思想是利用計算視差圖修正匹配代價，然后利用指導濾波再次累積匹配成本，計算視差并反復迭代，直到達到給定的最大迭代次數為止。其匹配代價修正表達式為：

(12)

式中，Dmax表示最大視差范圍，d(p)表示像素點p的計算視差。

2.3 算法實現

基于迭代指導濾波的立體匹配方法首先根據灰度信息及灰度梯度信息計算匹配成本，再根據指導圖像的灰度變化選擇支撐窗口，并通過指導濾波累積匹配成本，然后利用“勝者全取”策略計算視差，最后利用計算視差修正原始匹配成本并用指導濾波再次累積匹配成本計算視差，反復迭代此步直到達到指定的迭代次數為止。其算法的主要步驟如下：

(1) 計算原始匹配成本。根據視差范圍及左右圖像的灰度信息及梯度信息計算原始匹配成本，構成一個三維視差空間圖c(p,d)，其計算公式如下：

c(p,d)=α·min(‖IL(p)-IR(p-d)‖,τ1)+ (1-α)·min(‖▽xIL(p)-▽xIR(p-d)i‖,τ2)

(13)

式中，IL表示參考圖像，IR表示匹配圖像，α(≤1)表示權重比，d表示視差，▽x(·)表示函數在x方向的梯度變化，τ1和τ2分別表示灰度和梯度截斷閾值。

(2) 根據式(11)每一待匹配點確定支撐窗口大小。

(3) 根據支撐窗口大小φ(k)，利用指導濾波累積原始匹配成本。

(4) 根據“勝者全取”方法計算視差：

(14)

(5) 根據式(12)修正原始匹配成本，然后轉到步驟(3)，直到達到給定的最大迭代次數為止。

3 實驗結果與分析

3.1 實驗環境

該實驗利用C++實現了本文提出的立體匹配方法，其運行環境為聯想erazer筆記本電腦，其配置為雙核CPU 2.60 GHz，4 GB內存，64位win7操作系統。實驗采用了Middlebury網站提供的Tsukuba、Venus、Teddy和Cones對本文算法進行了驗證。

3.2 參數分析

本文提出的立體匹配方法涉及了一些參數的選擇，這些參數包括利用式(13)計算原始匹配成本時參數τ1、τ2及α；利用式(11)進行窗口選擇參數λ以及迭代次數。這些參數在一定程度上會影響匹配精度，為了獲得較高精度的匹配，該部分利用了Middlebury網站提供的Tsukuba圖像對這些參數進行了分析，為本文方法選擇一組最優參數值。

實驗1首先給定一組參數τ1、τ2、α及迭代次數數值，然后通過改變窗口選擇參數λ來分析它對匹配精度的影響。本組實驗τ1、τ2、α及迭代次數分別為：0.027 5、0.078、0.1、10，其測試結果如圖1所示。通過圖1，我們可以看出λ=2.1時匹配效果最好。當λ≥2.5時，匹配精度趨于收斂，這是因為當灰度閾值λ大于該閾值時，自適應窗口策略退化為固定窗口。

圖1 窗口選擇參數λ分析

實驗2本實驗分析了權重參數α對匹配精度的影響。本文方法在計算原始匹配成本時同時考慮了灰度成本和梯度成本。權重參數α調整他們各自對原始匹配成本的貢獻量，因此α的取值在[0 ,1]范圍之間。在α為0時，原始匹配成本僅由梯度成本構成；在α為1時，原始匹配成本由僅有灰度成本構成。本組實驗τ1、τ2、λ及迭代次數參數值分別選擇為：0.027 5、0.078、2.1、10，然后改變調整參數α觀察對匹配精度的影響，其測試結果如圖2所示。通過圖2，我們可以看出當權重參數α為0.2時匹配精度達到最優。當隨著α逐漸接近于1時，梯度匹配成本所占比例不斷降低，匹配精度也隨之下降，這表明了在原始匹配成本當中引入適量的梯度成本可以有利于提高匹配精度。

圖2 權重參數α分析

實驗3本實驗分析灰度截斷閾值τ1對匹配精度的影響。本組實驗τ2、λ、迭代次數及α參數值分別選擇為： 0.078、2.1、10、0.2，然后調整參數τ1觀察對匹配精度的影響，其測試結果如圖3所示。通過圖3，我們可以看出當τ1等于0.35時，匹配精度達到最優。通常在立體匹配當中，假定同一場景點在不同像平面上的像點具有相似的灰度值。但是在實際當中，由于成像時物理環境差異導致某些對應點具有較大的灰度差，這導致立體匹配方法誤認為錯誤匹配。通過截斷閾值的思想在一定程度上可以減少這方面對匹配精度的影響，也有一些學者[9-10]提出了一些其他方法來解決立體匹配當中的輻射差異。

圖3 灰度截斷閾值τ1分析

實驗4本實驗分析了梯度截斷閾值τ2對匹配精度的影響。首先給定τ1、λ、迭代次數及α的參數值：0.35、2.1、10、0.2，然后調整梯度截斷閾值τ2觀察對匹配精度的影響，其結果如圖4所示。通過圖4可以看出，當τ2等于0.078時，匹配精度達到最優。

圖4 梯度截斷閾值τ2分析

實驗5本實驗分析了迭代次數對匹配精度的影響。本實驗參數τ1、λ、迭代次數及α值分別為：0.35、2.1、10、0.2，然后測試迭代次數對匹配的影響，其結果如圖5所示。通過圖5，我們可以看出本文方法只需迭代很少的次數就可以使匹配精度趨于收斂。在本實驗中，該方法迭代15次使匹配精度收斂。

圖5 迭代次數分析

3.3 精度分析

本文利用Middlebury網站提供的Tsukuba、Venus、Teddy和Cones對本文提出的立體匹配方法進行了評測，分別在非遮擋區域(nonocc)、不連續區域(disc)和全部區域(all)計算它們的壞點百分比，并與立體匹配方法TSEM[8]、RMCF[11]、AGCP[10]、FTF[9]、TF[12]及FCVT[5]進行對比。圖6顯示了本文算法的實驗結果。從視覺角度上看，計算視差圖非常接近于真實視差圖，具有較好的匹配效果。表1顯示本文方法與其它立體匹配方法的對比結果。對于Tsukuba圖像，本文方法在nonocc、all及disc這三個區域的排名分別為：1、2、1；對于Venus圖像，本文方法在這三個區域的排名依次

為：3、3、1；對于Teddy圖像，本文方法在這三個區域的排名依次為：1、2、1；對于Cones圖像，本文方法在這三個區域的排名依次為：3、2、2。根據這些統計數據獲得本文方法在這三個區域的平均排名為：2、2、1。通過這一數據可以看出本文方法在不連續區域的匹配效果最佳，這主要是由于本文提出的自適應窗口技術的結果。實驗結果表明，本文方法具有較好的匹配性能，而且該方法在不連續區域具有較強的魯棒性。

(a) 立體像對 (b) 真實視差圖 (c) 計算視差圖圖6 Middlebury實驗結果

AlgorithmTsukubanonoccalldiscVenusnonoccalldiscTeddynonoccalldiscConesnonoccalldiscTSEM[8]0.861.134.650.110.241.475.618.0913.801.676.164.97本文方法0.791.244.210.140.201.094.056.4410.101.795.804.75RMCF[11]1.111.704.430.130.271.184.206.3111.102.737.838.01AGCP[10]1.031.295.600.170.141.304.636.4712.501.815.705.33FTF[9]1.752.086.510.160.341.765.9911.5014.802.468.286.78TF[12]1.682.337.360.591.155.456.8114.1015.903.8412.2010.60FCVT[5]2.082.888.401.582.776.007.7916.4018.403.0612.108.60

4 結 語

本文提出一種基于迭代指導濾波的立體匹配方法。該方法首先提出一種自適應窗口方法，并結合指導濾波技術用于成本累積，有效提高了立體匹配方法在不連續區域的匹配精度，提高了該方法在不連續區域的魯棒性。然后提出一種迭代指導濾波方法，根據計算視差逐步優化匹配成本，從而獲得了較高精度的視差圖。實驗結果表明，本文提出的立體匹配方法可以獲得較好的匹配效果，且對于不連續區域具有較強的魯棒性。

[1] Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002, 47:7-42.

[2] 張彥峰, 黃向生,李杭, 等. 基于漸進可靠點生工的散斑圖快速立體匹配[J]. 計算機科學, 2014, 41(6A):143-146.

[3] Yoon K J, Kweon I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006, 28(4):650-656.

[4] He Kaiming, Sun Jian, Tang Xiaoou. Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013,35(6):1397-1409.

[5] Hosni A, Rhemann C, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2013, 35(2): 504-511.

[6] Mattoccia S, Giardino S, Gambini A. Accurate and efficient cost aggregation strategy for stereo correspondence based on approximated joint bilateral filtering[C]// The Ninth Asian Conference on Computer Vision. Berlin Heidelberg: Springer, 2010:371-380.

[7] Richardt C, Orr D, Davies I, et al. Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid [J].Lecture Notes in Computer Science, 2010, 6313:510-523.

[18] Mozerov M G,Weijer J V. Accurate stereo matching by two-step energy minimization [J].IEEE Transactions on Image Processing, 2015, 24(3):1153-1163.

[9] Chen Dongming, Ardabilian M, Chen Liming. A fast trilateral filter-based adaptive support weight method for stereo matching [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015,25(5):730-743.

[10] Shi Chenbo, Wang Guijin, Yin Xuanwu, et al. High-accuracy stereo matching based on adaptive ground control points[J]. IEEE Transactions on Image Processing, 2015, 24(4):1412-1423.

[11] Dinh V Q, Nguyen V D, Jeon J W. Robust matching cost function for stereo correspondence using matching by tone mapping and adaptive orthogonal integral image[J].IEEE Transactions on Image Processing, 2015, 24(12):5416-5431.

[12] Yang Q. Stereo matching using tree filtering[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(4):834-846.

ASTEREOMATCHINGMETHODBASEDONITERATIVEGUIDEDFILTER

Li Jinfeng1Bian Jilong21

(CollegeofComputerandInformationTechnology,MudanjiangNormalUniversity,Mudanjiang157011,Heilongjiang,China)2(CollegeofInformationandComputerEngineering,NortheastForestryUniversity,Harbin150040,Heilongjiang,China)

This paper presents a stereo matching method based on iterative guided filter aimed at improving the accuracy of stereo matching. In this method, an adaptive window method is used to make an adaptive choice of a support window according to grayscale variation in images. Secondly, raw matching cost is aggregated by a guided filter and disparities are computed by the “winner-take-all” method. Thirdly, matching cost is modified on the basis of the computed disparities and is again aggregated to calculate disparities. Finally, this process is repeated until the maximum number of iterations is reached. Experimental results show that the proposed method can achieve an accurate disparity map, and has a strong robustness to the discontinuous regions in images.

Stereo matching Adaptive window Guided filter Adaptive weight

TP3

A

10.3969/j.issn.1000-386x.2017.09.036

2016-09-08。國家自然科學基金項目(51575097);牡丹江師范學院青年骨干基金項目(QG2014001);黑龍江省自然科學基金項目(E2016002)。李金鳳，副教授,主研領域：圖像處理，計算機視覺，立體匹配。邊繼龍，講師。