遞歸邊緣保持型雙目立體匹配算法研究*

帥 然 呂植勇 劉昌偉 賴俊豪

(武漢理工大學國家水運安全工程技術研究中心1) 武漢 430063) (武漢理工大學能源與動力工程學院2) 武漢 430063)

0 引 言

局部立體匹配算法研究的早期出現了一種基于固定大小窗口的局部立體匹配算法(fixed window，FW)，該算法具有比較簡單的計算過程[1]，在雙目圖像立體匹配算法研究的初期占有重要地位.由于雙邊濾波(bilateral filter，BF)技術很早就應用于圖像處理領域，Gao等[2]發現可以將這種技術推廣到雙目視覺領域后，提出自適應權值雙目立體匹配算法(adaptive weight，AW).該算法的計算復雜度比較高，能夠獲得與先進全局匹配算法相近的匹配精度，但是在實時性方面的表現卻不盡人意.

李超[3]提出了一種具有固定時間常數的立體匹配算法，以前經典的雙邊濾波式局部立體匹配算法在進行匹配時需要用到匹配窗口，因此最后的計算復雜度與窗口的半徑的平方成線性關系，而他提出的算法在匹配計算時與窗口大小無關，計算復雜度為一個固定時間常數O(1).在此研究基礎上，Zhang等[4]提出了改進型的自適應權值雙目立體匹配算法，該算法也具有運行時間為常數的特點，該算法雖處理灰度圖像且匹配效率也較高，但與能處理彩色圖像的傳統自適應權值算法相比，在匹配精度和效率方面還是有差距.He等[5]借助聯合積分直方圖技術，提出了新的改進型自適應權值立體匹配算法，該算法不僅能夠處理多通道的彩色圖像而且計算復雜度也具有固定時間常數，更重要的是與以前的算法相比，匹配精度也有較大的提升.

CostFilter算法[6]是當前匹配精度最高的局部立體匹配算法，性能指標接近最為優秀的全局立體匹配算法，進一步推動了局部立體匹配算法的研究工作.因此總的來說近年來的發展趨勢和重點仍舊是在局部匹配算法上，主要是追求計算效率的高效化和匹配精度的高質量上，本文后面提到的主要圖像處理算法思想也是基于此目的來展開研究與開發的.

1 雙目圖像處理算法的建模

1.1 遞歸型信號濾波數學模型

IIR數字低通濾波器是一種很重要的數字濾波器，其具有設計簡單、方便實現等特點，在語音信號處理過程中運用得比較廣泛.常用的IIR的輸入輸出差差分方程表達式為

λjF(n-j)

(1)

式中：N為前N個輸出時刻；M為當前有M個輸入信號，且一般N>M.IIR濾波器系統存在反饋作用，反饋系數為λ，ξ為輸入系數，而且該差分方程的實際運算過程中一般通過遞歸的編程方式來實現，所以該數字低通濾波器也稱為遞歸型數字濾波器.最簡單的一階遞歸數字信號低通濾波器的差分方程表達式為

ξiI(n-1)+

(2)

1.2 遞歸型圖像濾波數學模型

當把遞歸信號濾波模型引入到圖像濾波領域時，需要做如下處理：首先將輸入圖像I按照Y軸方向劃分為yn條掃描線，其中第yi條掃描線又包括[I(yi,1)，I(yi,2)，I(yi,3)，…，I(yi,n)，…]這些像素點，見圖1.

圖1 圖像序列掃描線示意

將這些像素點序列當作一個時域的輸入序列，可以推導出一階的圖像濾波輸出為Ox+，具體運算表達式見式(3)～(4)，其中令反饋系數λ<1，且ξ=1-λ.

Ox+=(1-λ)I(n,yi)+λox+(n-1,yi)

(3)

(4)

考慮到圖像濾波的特殊性，該點的濾波輸出不僅與左邊的像素點有關，還應考慮到該點右邊像素點對它的影響，因此可將式(4)擴展到圖像I的整個寬度W上，最后推導簡化后的一維濾波輸出的表達式為

(5)

Ox(n,yi)=I(n,yi)*H1(n)=

(6)

整理后的最終輸出結果表達式為

Ox(n,yi)=(1-λ)Ox(n,yi)+

λOx(n+1,yi)

(7)

進一步延伸到圖像I在X軸上的掃描線，同樣需要進行Y軸正向、反向的濾波過程.其中第xi條掃描線按時域分割后的序列進行Y軸方向的濾波輸出結果的表達式，可以采用上面相似的原理推導出來.同時可以利用二維卷積，將一維濾波核H1擴展成二維濾波核H，具體表達式為

*H1

(8)

由式(8)的表達式進行推導后可以得到整個圖像I的二維濾波核的表示式，即H(x,y)=(1-λ)2λ|x|+|y|，最終的圖像I的濾波輸出O的計算結果為

(9)

由式(9)可知，圖像I的二維濾波可以分別進行X軸和Y軸雙向濾波就可以完成.

1.3 梯度域遞歸邊緣保持圖像濾波數學模型

Gastal等[7]提出了域變換(domain transform)的概念，并通過該概念提出了自己的圖像濾波模型.他將雙邊遞歸濾波算法中的反饋系數λ由一個常數改進為一個變化量，該變化量主要與當前元素和前一個元素的差值ΔI相關的變量λ’，具體表達式為：λ’=λΔI，這樣處理后，不僅能對圖像進行遞歸濾波處理后獲得比較平滑的效果，同時又能借助新的反饋系數使圖像濾波能很好的保持圖像的邊緣特征.

根據該算法模型，則圖像I沿X軸正方向的濾波表達式為

Ox+(n,yi)=(1-λΔIx-)I(n,yi)+

λΔIx-Ox-(n,yi)

(10)

式中：ΔIx-=1+β|I(n,yi)-I(n-1,yi)|；β為差分調節參數，且β=δs/δr，δs為空域方差，δr為值域方差.其他方向上的濾波表達式都可以由類似式(10)的方法推導出來，這里就不贅述.

采用這種方式的遞歸雙邊濾波算法，其計算復雜度并不高，因為算法內部主要是乘法和加法運算，所以比較匹配嵌入式處理器有限的運算處理能力，使其計算效率比較高，同時匹配精度也能得到保障.

2 基于REF模型的雙目立體匹配代價聚合算法設計

所有的立體匹配算法都需要進行計算代價聚合的過程，而傳統的計算代價聚合的方式是通過計算視差窗口內匹配代價的總和或平均值而得到的.從本文第二節所述的REF濾波數學模型可知，輸入圖像I在經過匹配代價計算后，獲得匹配代價矩陣e，對e進行REF濾波時，具體聚合過程可以分為從X軸、Y軸兩個方向分別進行濾波處理的過程.式(11)中e矩陣中的一個點P，該點在視差為d的條件下，X軸正方向的濾波處理后得到的聚合代價，進而可以擴展到X軸正負兩個方向的聚合代價具體表達式見式(12).而目前主流的局部立體匹配算法在計算代價聚合過程是主要采用邊緣保持濾波技術，這樣處理可以使不同顏色的像素點都能獲得比較小的聚合權值，從而保證代價聚合的效果良好.

Cx+(p,d)=(1-λΔ-p)e(p,d)+

λΔ-(p)Cx-(p,d)

(11)

Cx+(p,d)=(1-λΔ+(p)Cx+(p,d)+

λΔ+pCx+(p+,d)

(12)

式(11),(12)中Δ-(p),Δ+(p)分別為像素點P與正向、反向相鄰元素之間的一個差分變量，而p+，p-分別是點P左右兩邊的相鄰元素.以X軸正向為例子，差分量Δ-p=1+β|I1(p)-I1(p-),Δ+(p)=1+β|I1(p)-I1(p+) 其中的β為差分調節參數，它反映的是代價聚合過程的過程隨像素梯度變化的程度.

該代價聚合算法一次完整的聚合代價計算過程需要遍歷代價矩陣e中的所有元素4次，因此該算法的計算復雜度是一個與輸入圖像的寬和高息息相關的固定時間常數，即O[4*W*H].

圖2為經過REF代價聚合算法處理后的樣本圖像示意圖，實驗樣本中的綠線為選取的比對圖像數據，a行為代價矩陣e的視差圖分布圖，b行為經過REF濾波處理后的視差分布圖，紅色部分為其中視差值最小值的點.通過下圖圖像元素的分析可知：通過匹配代價計算處理后的矩陣e中的視差分布很雜亂，內部存在鋸齒，而且過渡不平滑，視差也不連續，邊緣特征也保持的不好；而經過REF濾波處理后得到的視差矩陣C中的內部視差過渡連續平滑，變化趨勢比較明顯，保留的邊緣特征效果比較好，因此將REF模型運用到代價聚合的計算過程中是有效的.

圖2 REF雙目立體代價聚合算法圖像處理效果的示意

圖3 未采用迭代方式的二維濾波權值分布圖

圖4 三次迭代濾波后濾波權值分布圖

由文獻[8]可知，N次迭代濾波后的第i次迭代反饋參數為λi，其具體計算公式為

本節后面的實驗部分將具體展示REF算法的性能與迭代濾波次數N之間的關系.

3 雙目匹配算法的仿真結果分析

其中δs的取值可以參考經典的AW,FBS等雙目算法，取高斯核空域平滑方差經驗值δs=30即可，而δr以及N對匹配精度的影響需要做相關仿真實驗來確定最優數值.迭代次數N和值域平滑參數δr與誤碼率的關系曲線圖見圖5～6.

圖6 值域平滑參數δr與誤碼率曲線關系圖

由圖5可知，經過REF雙目立體匹配算法圖像處理后獲得的誤碼率隨著迭代次數的增加呈現一種震蕩收斂的曲線關系，其在N=3時誤碼率達到最小為0.056，而在N≥5以后誤碼率逐漸震蕩收斂于一個穩定值0.056 4.在實際應用過程中考慮到嵌入式芯片計算資源的有限，不可能選擇過高的迭代次數，這會給芯片造成很大的計算負擔，而選擇迭代次數N=3不僅可以保證比較好的誤碼率，對計算芯片的運行速度要求沒有那么苛刻.不可能選擇過高的迭代次數，這會給芯片造成很大的計算負擔，而選擇迭代次數N=3不僅可以保證比較好的誤碼率，對計算芯片的運行速度要求沒有那么苛刻.

由圖6可知，誤碼率與值域方差δr之間呈現明顯的凹曲線關系，在δr=0.24左右時，誤碼率可以取得最小值0.056，因此，本算法在最后參數的確定環節，影響REF雙目匹配算法匹配精度的三個核心參數的取值分別為：迭代次數N=3，空域平滑參數δs=30，值域平滑參數δr=0.24.

經過本文提出的算法處理后，其不僅能夠很好的保留圖像的邊緣特性，方便提取物體的邊緣特征用于識別，同時內部還具有均勻的視差分布，方便后期處理時獲得連續均勻的3D圖像，保證其平滑，觀看舒適，立體感強烈.發送誤匹配的點主要在物體邊緣，這進一步證明了本算法內部可以保證過渡平滑，邊緣特征比較明顯.

雙目匹配算法實時性的仿真結果分析.

本文提出的REF立體匹配算法的計算復雜度主要與輸入圖像的大小、輸入信道的數目以及迭代次數呈線性關系， REF雙目立體匹配算法的迭代計算過程中只涉及到加減和乘法運算，沒有占用計算資源很多的矩陣運算，因此計算效率較高.輸入圖像大小為N=h*w時，在D個輸入信道下，其計算復雜度為O(4*N*D)，它比目前先進的雙邊濾波算法(計算復雜度為O(ND2)[9]或者O(Nlg(N)D)[10])更加有效，因此REF匹配算法的運行效率要遠高于其他局部匹配算法，在理論分析上具有比較好的實時性能.

在雙核AMD2.3 GHz處理器、4 GB運行內存的PC平臺上進行本文提出的REF雙目立體匹配算法.經過對四個實驗樣本進行立體匹配過程的運行時間的追蹤，具體數據見表1.其中在對實驗樣本Tsukuba進行一次迭代的時間僅需38 ms，而三次迭代后所需時間也只為108 ms，即使數據量最大的Teddy和Cones實驗樣本三次迭代的時間也不超過160 ms，對比其他實時性比較好的P-LinearS匹配算法的匹配過程約需要250 ms左右，因此，本文提出的REF雙目立體匹配算法具有比較優秀的實時特性.

表1 REF立體匹配算法實驗樣本運行時間數據 ms

4 結 束 語

本文主要開發了一種計算效率高且圖像處理精度比較好的圖像處理算法，本文根據數字低通濾波器的遞歸數學模型展開相關研究，將它擴展到圖像濾波領域，并以此為核心設計了REF雙目立體匹配圖像處理算法.REF雙目立體匹配算法的圖像仿真實驗主要是在PC機端實現的，實驗的樣本主要來自經典的四組立體圖像對，仿真實驗數據和仿真圖像可以得出本文的圖像處理算法在匹配精度上領先了幾種經典的匹配算法，并與保持領先的局部算法在匹配精度誤碼率上差距不大，匹配精度平均能夠保持在5.6%以下，在圖像處理算法的運行時間上優于其他局部立體匹配算法.