基于韋伯感知和導引濾波分層聚合快速立體圖像匹配

劉天亮 戴修斌 朱秀昌 羅立民

①(江蘇省圖像處理與圖像通信重點實驗室 南京 210003)

②(南京郵電大學通信與信息工程學院 南京 210003)

③(南京郵電大學地理與生物信息學院 南京 210003)

④(東南大學影像科學與技術實驗室 南京 210096)

1 引言

雙目立體匹配是實現從2維圖像對3維視覺感知的基礎，在機器視覺、無人車自主導航、3維建模及3維視頻編碼等領域應用廣泛。文獻[1]全面概述并分類總結了一些代表性的立體匹配技術及評價體系，并將其分為局部匹配和全局匹配兩大類。局部方法通常容易實現、效率較高，但也存在兼顧魯棒性和計算效率、利用局部特征和代價聚合消除匹配歧義等問題[2-11]。利用截斷閾值[1]和特征描述[2]初始化匹配代價，適度改善匹配性能。DAISY描述顯著特征較魯棒[2]。文獻[12]利用韋伯準則構造魯棒光照局部描述。穩健高效的代價聚合有利于局部匹配。傳統自適應權重[3]及帶分割變種[4]，需要稠密計算或圖像預分割，匹配效果雖然較好，但由于算法復雜度和內存容量的限制[13]，速度較慢，難處理大視差搜索范圍、高分辨率圖像對。文獻[5]利用導引濾波[6]快速增強匹配代價；而文獻[13]回顧了代價聚合中減少計算冗余方法。傳統的雙邊濾波基于四鄰域搜索去除視差噪聲、保存邊緣[7]；但該方法改善效果欠佳。兼顧實時性，可以犧牲精度[8]來實現高效匹配；也可借助硬件(圖形加速硬件[9]或嵌入式系統[10])實現。

設基準圖像Ib和待匹配圖像Im是極線校正彩色圖像對；視差范圍Rd=[dmin,dmax]，其總個數Nd為dmax-dmin+1。受上述研究啟發，提出一種新穎的基于導引濾波分層代價聚合快速立體圖像匹配方法。

2 初始匹配

2.1 基于韋伯感知初始化匹配代價

根據韋伯定律[12]，將鄰域亮度變化v00與當前像素x的亮度v01之間的比值，視為差分激勵ξ(x)。

“得益于中國銀行云南省分行的精心安排和組織，讓我們收獲頗豐。”參加完首屆中國國際進口博覽會展商客商供需對接會，云南某科技有限公司負責人感慨地說。在這次對接會上，多家客商在中國銀行云南省分行（下稱云南中行）對接會現場工作人員的精心安排下，與多家展商進行了供需洽談，并簽署了總計超15億元的意向合作協議。

其arctan(x)防止輸入較大(較小)輸出響應增加(減少)過快，α調整鄰域間差分響應。xi為八鄰域亮度。

隨著企業的發展，牧星也在不斷尋求品牌知名度和美譽度的提升。在做好產品的同時，搭建好品牌和口碑體系?！按蠹移毡檎J為做技術的‘工科男’是不善于表達自己的，我們在未來的努力就是要扭轉這樣的印象，讓牧星這一品牌在市場上更加響亮。之前我們是‘酒香不怕巷子深’，現在則不同，我們不光要有酒香，還要讓更多的人了解我們?！?/p>

其中Ib,Ij和μk為圖像Ib中像素pb和pj及局部矩形窗wk內的色彩3×1均值向量；協方差矩陣∑k和單位矩陣U都是3×3矩陣。參數ε控制權重平均的加權力度。權重濾波響應能保持彩色導引圖像邊緣。其次，逐像素遍歷整個視差搜索空間Rd，將導引濾波穩健增強后的匹配代價按大到小順序依次排列。然后，選取匹配代價最小的Dc(Dc<

合適選擇TWLD和TRGB約束差異測度可剔除宿外點。為了降低光照變化[12]影響，平衡因子β取值接近1。

2.2分層代價聚合和快速視差選擇

2.2.1 基于導引濾波提取視差候選為避免重復遍歷所有視差假設[13]，從較大視差范圍Rd提取Dc(Dc<

其中(xl,yl)為初始視差Db,bf的坐標。不滿足該約束，則剔除該不可靠視差。接著，將同一掃描極線上距離最接近的可靠視差分配填充給當前的不可靠視差像素點。然后，利用水平極線約束和左右2個視差圖的潛在冗余，組合另一個視圖基于逆向映射產生當前視圖下的視差值，消除窄遮擋的歧義。最后，采用3×3中值濾波平滑當前視圖，得到最終視差圖。

2.2.3 利用候選子集快速選擇視差采用優勝者全選法，逐像素利用視差候選子集Sd加速兩個視圖選擇初始視差。以基準圖像Ib為例，初始匹配視差選擇：

其中Cgf(u,v,d)表示濾波后匹配代價，pb和pj分別表示當前像素和匹配窗wk的鄰域像素。權重化平均的濾波權重Wb,j(pb,pj)取決于彩色導引圖像Ib[6,9]為

從總體上看，成都文物類型較為齊全，各類文物均有分布.古建筑及歷史建筑物主要集中于成都、南充、甘孜、綿陽、阿壩和宜賓等地；古墓葬以成都和宜賓為多；古遺址多分布于成都、德陽、瀘州、雅安、阿壩和甘孜等地；石窟寺及石刻以眉山、資陽、成都、廣元和巴中較為集中；近現代重要史跡及代表性性建筑以成都、自貢分布較多；革命遺址及革命紀念建筑物總量不大，集中分布于成都、南充、甘孜和巴中四地.這一特征反映了不同地區歷史、文化的演進軌跡和文物保存狀況存在差異.

然后，圖像Ib中某一像素pb(坐標為(u,v))和待匹配圖像Im中極線上關于視差d的像素qm,d(坐標為(u-d,v))的相關程度，利用pb,qm,d兩個像素的WLD描述和RGB色彩之間絕對值差異關于各自閾值TWLD和TRGB來線性表達。則初始匹配代價C(u,v,d)為

2.2.2 空間離散采樣聯合式代價聚合為減少計算冗余，提出基于結構化空間離散周圍對稱聚合采樣改進自適應權重匹配窗，作為匹配代價高效分級聚合的有效支撐。代價聚合結構是一組基于極坐標依賴當前參考像素周圍對稱空間離散采樣點構成的結構化支撐模板(如圖1所示)。分層聯合式代價聚合為

其中pl(l=l,2,…,L)表示該支撐模板中第s個同心圓環上第t個代價累積采樣點，t=l,2,…,8,s=l,2,3。代價分層聚合中當前層所對應的視差值d來自上一層提取的視差候選集Sd。權重wb,l(pb,pl)表示pb和pl關于 RGB色彩差異 ΔCpb p l和幾何距離 ΔGpb p l的自適應權重[3]，γc和γq為相應權重系數。

聯合式代價聚合中，忽略歸一化求和自適應權重本身；僅保留聚合前匹配代價內積相應權重。僅保留內積操作的改進不會影響匹配代價聚合的精度[13]，且基于空間采樣有利于匹配代價快速聚合。

圖1 空間離散采樣結構化支撐模板

我停下我的腳步，轉身，逃離父親，朝著工地奔跑。父親感覺到了，他尖厲的聲音再次傳來：小賤！呼聲過后，是他的腳步聲，一下輕一下重，那是瘸腿人特有的腳步聲。我沒有回頭。我知道，此刻的他，就像一張被拉開的弓，也像一架運動中的犁。他手里那截木頭，那截木頭，像一柄劍，刺向我身后的天空。

推薦理由:一本別具特色的原創手印畫繪本。圖畫簡單、生動，文字基于耳熟能詳的兒歌創作，朗朗上口，利于適齡兒童對傳統歌謠和顏色、季節的記誦、認知。

3 視差求精

3.1 改進型視差雙邊濾波

第二，關于中外合作辦學的論文，主要有：李玉保、謝麗惠的《中外合作辦學模式：實踐反思與路徑選擇》；齊曉丹、張曉波的《中外合作辦學機構辦學模式及發展路徑研究》。

圖2 “*”字型濾波窗口

其中Cbf(u,v,d)反映鄰域視差波動幅度，常數λd控制去除宿外點；W(u,v)是基于色彩和空間相似類似式(7)的自適應權重[3]。權重化濾波也僅保留內積操作，省去不必要的求和歸一化操作[13]。改進雙邊濾波能保留視差圖像的邊緣細節，并有效剔除視差局外點。

3.2利用對稱映射后處理視差

首先，利用含不可靠閾值Tocc的左右對稱一致性約束檢測不可靠歧義區域(比如誤匹配及遮擋等)：

首先，初始匹配代價C(u,v,d)中關于視差值d的Nd個切片，基于以當前像素為中心小尺度r×r匹配窗wk局部色彩信息導引濾波抑制噪聲[6]。逐個像素pb=(u,v)穩健增強匹配代價為

色彩不連續伴隨深度不連續?；谒泥徲螂p邊濾波有助于視差不連續保持[7]；但“*”字型濾波窗口空間覆蓋濾波范圍更大。利用八方向鄰域(見圖2)，提出改進型雙邊濾波改善視差質量。設濾波半徑為Wbf，以當前像素p=(x,y)為中心濾波窗的八鄰域視差值集合為dp。設up,vp,和是“*”字型濾波窗口各方向路徑：水平up=[x-Wbf,…,x+Wbf]，垂直是45°和225°路徑；是135°和315°路徑。則順序更新視差：

4 實驗結果與性能分析

本文方法保持相同參數設置測試Middlebury網站[14]上4組標準立體圖像對Tsukuba,Venus,Teddy 和Cones驗證匹配性能。表1為與該網站上部分結果比較(2011年9月20日)并基于錯誤匹配率的評價表(誤匹配閾值為1)。,RD和RA分別為非遮擋區域、接近深度不連續區域及未知像素除外總的錯誤百分比PBP(Percent of Bad Pixels)；各列整體平均AvgPBP。復雜度低、速度快的本方法，稍微遜色于復雜度高的文獻[3,4]等方法。整體匹配效果看，本方法的AvgPBP為8.11(非常接近并僅次文獻[4]算法的8.07)。本方法稍微好于文獻[9]算法；同時，明顯優于來自文獻[8]，文獻[11]和文獻[7]等算法。

首先，提取立體圖像中各像素xp的各色彩通道分量c的差分激勵ξc(xp)。ξ(xp)∈[-π/ 2,π/2]。c∈｛ R,G,B｝。接著，連接RGB色彩三色通道差分激勵ξc(xp)，形成整體局部特征描述向量WLD(xp)。

圖3直觀呈現本文方法匹配上述4 組測試圖像的相關結果。其中第1、第2 行分別是各組立體對中的基準圖像及其標準視差；第3、第4行分別給出相應的初始視差和最終視差；而第5行是最終視差與其標準視差之間的差異(誤差閾值>1)?？梢?，初始匹配能得到較可靠的初始視差；視差求精能有效改善歧義區域。圖4給出本文方法處理Middlebury網站[14]提供的一組不同光照下真實蘆薈立體圖像的視差結果；自左向右各列代表各組不同光照條件；第1和第2行分別表示相應的基準Ib和待匹配Im，而第3行為相應的各基準圖像視差結果。可見，即使光照條件發生較大變化，本文算法匹配性能幾乎不受光照條件影響。

雖然上面的結果看起來可能是矛盾的，這里有幾種可能的解釋。首先，農民一般不愿意與陌生人(例如研究人員)談論錢的問題，其中可能隱藏著一些有關金錢的影響。第二，滿意度可能會被定性為一種無形資產的影響，因此，它不一定與更高的銷售額或收入有關。第三，超市供應鏈中相對較高的價格可能與滿足特定要求的高成本相關。盡管定量的結果及其盡可能的解釋，定性信息表明，在超市供應鏈內的農民生活條件比即時交易市場中的同行要好得多。即使在本研究中面臨著測量影響的局限性，但得承認由于缺乏確鑿的結論，引發了關于超市興起及其對農民生計的積極影響的潛在市場機會的問題。

表2給出了未做代碼優化和并行加速處理下本文方法與其他算法測試4組立體對的執行時間。與文獻[3]方法相比，本文方法運行時間降低了近一個數量級；其整體計算復雜度不高，適合匹配較高分辨率立體圖像對。結合圖3，圖4定性顯示和表1，表2定量評估的綜合評價及其執行時間，驗證了本文方法在平衡精度和效率及真實光照變化上的優越性。

5 結束語

為了快速消除立體匹配歧義，本文提出一種基于韋伯描述符和導引濾波由粗到細分層代價聚合的快速局部立體圖像匹配方法。實驗表明，本文方法能獲得高質量的稠密視差；復雜度低，匹配速度快；光照魯棒性好。面向高分辨率多視點/立體視頻編碼等新媒體應用，計劃研究更高質量實時立體匹配。

表2 不同算法的執行時間(s)

表1 Middlebury網站標準測試對的評估結果

圖3 立體圖像對‘Tsukuba’,‘Venus’,‘Teddy’ 和‘Cones’的稠密視差結果

圖4 不同光照條件下蘆薈立體圖像對的稠密視差

[1]Scharstein D and Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002,47(1/2/3):7-42.

[2]Tola E,Lepetit V,and Fua P.DAISY: an efficient dense descriptor applied to wide-baseline stereo[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5): 815-830.

[3]Yoon K J and Kweon I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[4]Liu T L,Zhang P Z,and Luo L M.Dense stereo correspondence with contrast context histogram,segmentation-based two-pass aggregation and occlusion handling[C].Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology,Tokyo,2009: 449-461.

[5]Rhemann C,Hosni A,Bleyer M,et al..Fast cost-volume filtering for visual correspondence and beyond[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,2011:3017-3024.

[6]He K M,Sun J,and Tang X O.Guided image filtering[C].Proceedings of 11th European Conference on Computer Vision,Crete,Greece,2010: 1-14.

[7]Yang Q X,Wang L,and Ahuja N.A constant-space belief propagation algorithm for stereo matching[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,USA,2010: 1458-1465.

[8]Gupta R K and Cho S Y.A correlation-based approach for real-time stereo matching[C].Proceedings of 6th International Symposium on Visual Computing,Las Vegas,USA,2010: 129-138.

[9]Yu W,Chen T,Franchetti F,et al..High performance stereo vision designed for massively data parallel platforms[J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(11): 1509-1519.

[10]丁菁汀,杜歆,周文暉,等.基于FPGA 的立體視覺匹配的高性能實現[J].電子與信息學報,2011,33(3): 597-603.Ding J T,Du X,Zhou W H,et al..High performance implementation of stereo vision matching based on FPGA[J].Journal of Electronics＆Information Technology,2011,33(3): 597-603.

[11]Nalpantidis L and Gasteratos A.Stereo vision for robotic applications in the presence of non-ideal lighting conditions[J].Image and Vision Computing,2010,28(6): 940-951.

[12]Chen J,Shan S G,He C,et al..WLD: a robust local descriptor[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9): 1705-1720.

[13]Min D B,Lu J B,and Do M N.A revisit to cost aggregation in stereo matching: how far can we reduce its computational redundancy?[C].Proceedings of 13th International Conference on Computer Vision,Barcelona,Spain,2011: 1567-1574.

[14]Scharstein D and Szeliski R.Middlebury Stereo EvaluationVersion 2.http://vision.middlebury.edu/stereo/ eval,2011.