一種基于雙目測距系統的亞像素精度自適應圖像匹配算法

張堯，趙洋，劉博宇，遲名辰，楊進華

（長春理工大學　光電工程學院，長春　130022）

?

一種基于雙目測距系統的亞像素精度自適應圖像匹配算法

張堯，趙洋，劉博宇，遲名辰，楊進華

（長春理工大學光電工程學院，長春130022）

摘要：針對目前亞像素精度圖像匹配算法中存在的匹配精度不高和匹配速度慢的缺點，對基于灰度的歸一化互相關算法進行了改進，提出動態調整匹配區域范圍的自適應方法，既保證了亞像素級匹配精度，又提高了運算速度。實驗證明，改進后的算法，在保證0.2個像素匹配精度的條件下，匹配速度大大提高，能夠滿足實際應用中的實時性要求。

關鍵詞：亞像素；自適應；圖像匹配；歸一化互相關

雙目CCD測距技術是一種仿照人類利用雙眼得到目標物體的圖像來感知距離的光學測距方法。雙目CCD測距為被動測距，在測量中不必對被測目標發射任何信號，只需在自然條件下即可實現高精度遠距離測距，具有隱蔽性的特點，特別適用于軍用設備測距、航空目標測距和工業應用中需要保密和受環境限制的場合。

雙目視覺是由不同位置的兩臺CCD攝像機，通過平移對同一幅場景進行拍攝來估計在兩幅圖像中對應像素點的視差，從而全面的恢復場景的深度信息，感知三維世界。雙目視覺系統主要涵蓋了五個基本模塊：數字圖像對采集、雙目立體標定、數字圖像對校正、立體匹配和三維結構恢復，而立體匹配模塊一直成為該系統研究的核心所在。雙目視覺中的立體匹配其實是在兩幅圖像之間建立匹配點，然后根據攝像機參數和對應的匹配點計算場景中目標的深度值。圖像匹配算法的核心就是通過某個特定匹配準則，在兩幅圖像上尋找同名點間的一一對應關系的過程，其實質就是運用匹配準則在待匹配點中尋找最佳搜索方法。以左圖獲得的目標點為點源，在右圖中尋找最佳準則的匹配點的搜索過程，就是各種立體匹配算法的研究內容。

目前國內外對基于亞像素精度的匹配算法已有一些研究，但是由于要實現的是立體圖像對的亞像素精度的稠密匹配，與像素級的匹配算法相比，其在實現精度、復雜度、估計值準確度、運算速度等方面都是一個大的挑戰。

在亞像素精度圖像匹配領域，研究者們普遍思路是通過插值擬合的處理方式來對整數視差進行進一步細化。Tian Q［1］等人提出對聚集代價進行拋物線擬合來得到亞像素視差，但通過這個方法得到的亞像素視差有明顯的像素鎖定現象，即視差值取在整數值附近的概率遠遠大于取在0.5個像素附近值的概率。Shimizu M［2］的研究中，減少了線性相似度策略產生的視差錯誤。Nehab［3］等在此基礎上提出系統偏移的實質性問題，通過在視差空間上進行二維擬合來迭代貼近真實亞像素值，但是針對每一幅圖像參數都不同，實現較繁瑣。由于在頻域進行匹配操作不受亮度變化的影響，所以Takita K等人［4］依據圖像對應點頻率特性，在頻率范圍內進行視差估計，提出基于相位相關的圖像匹配方法，一定程度上提高了視差精度。隨后Hongshi Yan和Jian Guo Liu［5］在聯合相位相關方法中加入了一個判定系數來進行亞像素視差估計，使得算法更為魯棒。但相位方法存在的明顯不足是需要場景中的物體為相對規則的剛性目標。2006年Klaus A［6］轉換思路，提出了AdaptingBP算法，不同于傳統方法對每個像素進行視差求解，而是采用置信度傳播在分割面上進行視差求解，采用顏色分割和自適應匹配相似性度量來最大化可靠匹配點的數量。通過平面補丁來對場景結構進行建模，使得算法對奇異點有更好的抗性。在此基礎上，Wang Z［7］提出了一種新的基于分割區域間協同優化的方法。該算法以圖像區域為匹配基元，進行彩色分割后，利用每個區域不同的彩色特征與其相鄰區域間存在的相關特性，來定義每個區域的匹配能量函數，再利用區域之間的合作競爭機制，通過優化子目標之間合作競爭關系來達到優化總體匹配能量的目的，實驗證明其匹配性能比較理想。但是區域的分割結果對視差有較大影響。與上述方法都不同的是Yang Q X［8］提出在后處理階段來提高深度圖像的分辨率，通過使用一個或兩個高分辨率彩色圖像作為參考，對輸入的低分辨率圖像，迭代地改善空間分辨率和深度精度，獲得了非常好的亞像素深度信息。而針對實際場景中的弱紋理問題，翟振剛［9］在2010年提出了基于分割塊幾何約束的立體匹配算法，利用分割塊的上下文幾何約束信息來判斷可信視差點與可信視差點，通過計算視差值概率分布，由可信分割塊的視差信息推理出不可信分割塊的視差信息，一定程度上克服了弱紋理區域的誤匹配，提高了匹配的準確度。2011年施陳博［10］又提出一種新的高精度全局優化框架，通過可靠點集合與平面平滑模型構建了新的全局能量函數，利用視差圖和可信度圖交替迭代更新的方式實現了多個亞像素精度上的好效果，并可以在不同的光照條件下都具有較好的魯棒性，但是其視差圖和可信度圖容易受實際圖像中噪聲和邊緣模糊影響。Bleyer［11］提出ObjectStereo算法，在傳統顏色分割的基礎上，充分利用空間的一些相關性的目標組成約束信息，將目標層顏色模型作為軟約束的分割方法加入到全局優化模型中進行計算。由于考慮了離散顏色相似區域的相關性特性，所以在彩色圖像上獲得了很好地效果。

雖然基于擴展相位相關的算法在亞像素精度下的配準都達到了相當高的精度，但是他們無一例外都是算法復雜度非常高，運行速度很慢，因此，發展較慢，現在大多應用于遙感圖像配準等剛性變換的自動配準領域；二次曲線擬合可以在每一個像素上進行視差的亞像素化，實現過程很簡單，但是也存在著不足，即如果圖像的初始視差就是不正確的，那么擬合后的結果必定也是存在偏差的；通過基于曲面擬合的方法來對視差進行視差精度的提升有很多的方式，但是由于曲面擬合存在著擬合過程需要在相對單一的表面模型才能進行，依據擬合的表面模型的不同擬合系數個數以及擬合公式也有很大的不同。

綜合以上亞像素精度圖像匹配策略研究的發展現狀可知，不管是哪一種算法，它們都各有優勢，但也都存在不足之處，在匹配精度、運行時間上存在較大的差異，也都還需要進一步的研究與實驗論證。在本課題的研究當中，考慮通過自適應匹配窗口來實現提高亞像素匹配精度和速度。其中，如何確定匹配窗口的大小是比較關鍵的問題：窗口越小，在視差不連續區域匹配精度越高，但是低紋理區域沒有覆蓋足夠的灰度變化，會因灰度信息太少使得視差估計不準確；窗口越大，可以包括足夠的灰度變化，對于低紋理區域匹配精度越高，但窗口太大且包含視差的較大變化，會因為左右圖像上不同的投影畸變，使得匹配位置不正確，且計算量大。因此，分別在像素級精度和亞像素級精度匹配階段，引入自適應窗口進行匹配是非常有必要的。

1　像素級精度粗匹配

1.1互相關匹配算法

針對雙目測距，采用的左右CCD攝像機型號、參數可以保持一致，基本保持光軸平行、雙目攝像機坐標系共面且各坐標軸平行放置，由此同步采集的左右CCD圖像大小、比例一致，圖像的灰度信息受噪聲干擾較小。因此，采用最適合雙目測距系統的基于模板匹配的灰度互相關的圖像匹配算法，其原理如圖1所示。

圖1　互相關匹配原理圖

這里用歸一化互相關匹配算法來比較Si，j和T相似度。互相關函數的表達式為

1.2自適應圖像粗匹配原理

對于截取的特征模板t（h×h，h初始值為50pixel），如果其中包含的圖像特征不明顯的話，則會大大降低粗匹配精度，甚至造成誤匹配，所以在圖像粗匹配環節引入自適應窗口可以有效解決這一問題，其原理如下：

為了判斷圖像上是否存在特征，需要對圖像上的每點都建立Hessian矩陣（公式4），然后依據該矩陣判別式（公式5），對其是否為極值點進行判斷，如果判別式為正，則特征值是同號，該點是極值點，說明截取圖像中含有明顯特征，可以進行粗匹配；如果判別式為負，則特征值是負號，該點不是極值點，說明截取圖像內沒有沒有明顯特征，則返回重新截取大小為h= h+1的特征模板。

1.3粗匹配過程描述

（1）對待匹配圖像的目標區域進行提取。利用雙目測距系統對待測目標進行拍攝，左幅圖像稱為模板圖像T，右幅圖像稱為搜索圖像S。

中心是圖像上非常特殊的一個點，以中心為參考點來研究雙目測距系統的問題也很方便，因此中心坐標在計算機圖像的研究中早已得到了廣泛的應用，如利用中心定位、跟蹤、識別圖像等［12］。本課題所研究的雙目測距系統基線為2m，測距范圍3～5公里，根據平面幾何比例性質計算，可以得出左、右相機的圖像都會包含中心區域。圖像的中心區域可以極大的克服由于相機旋轉、伸縮以及添加噪聲而帶來的大幅度位置變化，相應結合中心的匹配算法更具有一定的魯棒性。因此，采取截取中心區域正方形匹配的思想來提高歸一化互相關算法的效率，降低其運行時間。

分別以兩幅原圖像T（M×N）、S（M×N）中心點（M/2，N/2）為中心，截取特征模板t（m×m）、搜索子圖s（n×n）。實際實驗中，所拍攝的圖像S、T實際大小均為1280pixel×960pixel，如圖2所示。

圖2　實驗圖像和截取圖像

（2）對截取后的T圖和S圖進行互相關匹配運算。以T為模板在S上進行模板搜索，進行每一像素點的互相關運算，當運算結果達到最大值時，我們認為此時T與S達到像素級匹配，進而可以得到S中與T的中心點A相對應的粗匹配點A’的坐標。

為了方便觀察，將每次互相關運算結果儲存在與t相等大小的矩陣C中，矩陣C中每個點坐標與t左上角像素點的坐標相對應，每個數值都反映了s 與t的匹配程度，越接近于1則匹配的程度越高，C的函數分布如圖3所示。

圖3　粗匹配互相關函數分布情況

2　亞像素級精度匹配

在亞像素級精度匹配階段，再次引入圖像自適應截取窗口，以確保節省運算時間。

（1）以粗匹配點A和A’為中心，分別在S和T中截取大小為5k +1和10k +1個像素的正方形區域T1和S1（k為1，2，3，…，20的整數）。這里k的取值是變動的，如果后續的亞像素精度匹配結果不理想，是特征區域選取過小的緣故，k則取下一個較大的值，進行再次運算，直到大于能反映匹配程度的閾值g為止。經過大量實驗，我們可以得到k的值與圖像匹配程度所擬合成的曲線關系如圖4所示。

圖4　k值與匹配程度的關系

可以看出，當k＞2時，曲線斜率變化趨于平緩。所以，根據節省運算時間的原則，當匹配程度大于0.9970時，我們即視為兩幅圖像匹配，也就是說閾值g設置為0.9970。至此完成了亞像素匹配的自適應過程。

（2）三次曲面擬合

分別對T1和S1進行三次曲面擬合，將其函數用二元三次多項式表示為：

通過最小二乘法獲得最佳系數akj，然后再分別對T1和S1進行二維均勻插值，無論k為何值，都要確保插值的間距為0.2像素，即對每個像素進行25細分，亞像素精度為0.2，如圖5所示。

圖5　曲面插值結果

（3）對細分后的T1、S1再次進行互相關匹配運算，如果匹配程度沒有達到閾值g，則擴大T1、S1的截圖范圍，再次進行運算，匹配結果的函數分布如圖6所示。

圖6　亞像素級精度匹配互相關函數分布情況

（4）算法的大致流程如圖7所示。

圖7　程序流程圖

（5）實驗結果

實驗是在Windows XP的系統上（CPU雙核1.8GHz，內存2GB），用Matlab 7.0實現的算法，CCD相機采用的是AVT GC1290C，結果如表1所示。

表1　實驗結果

表1表明：歸一化互相關和曲面插值擬合結合的匹配算法可達到0.2像素的匹配精度，較好地解決了以往圖像匹配精度不高的問題，自適應匹配窗口的使用，相對于傳統的全區域搜索，大大節省了圖像匹配的時間。

3　結論

采用提出的自適應圖像匹配算法提高了雙目CCD被動測距系統的圖像匹配精度，同時節省了運算時間。在圖像匹配過程中，對目標圖像應用改進的互相關算法與三次曲面擬合相結合的算法，使其達到了圖像的亞像素級匹配，精度可以達到0.2個像素，具有較高的實用價值。

參考文獻

［1］Tian Q，Huhns M. Algorithms for subpixel registration［J］.Computer Vision，Graphics，and Image Processing，1986，35（2）：220-233.

［2］Shimizu M，Okutomi M. An analysis of subpixel estimation error on area-based image matching［C］.Japan In proceeding of Digital Signal Processing，2002，14（2）：1239-1242.

［3］Nehab D，Rusinkiewicz S，Davis J.Improved sub-pixel stereo correspondences through symmetric refinement ［C］.Proceedings of International Conference on Computer Vision（ICCV），2005：557-562.

［4］Takita K，Aoki T，Sasaki Y，et al. Kobayashi. High-accuracy subpixel image registration based on phase only correlation［J］.IEICE Trans. Fundamentals，2003，E86-A（8）：1925-1934.

［5］Hongshi Yan，Jian Guo Liu.Robust phase correlation based sub-pixel disparity estimation and its refinement around depth discontinuity and featureless areas ［J］. Geoscience and Remote Sensing Symposium （IGARSS），IEEE International，2010：4576-4579.

［6］Klaus A，Sormann M，Karner K. Segment-based stereomatchingusingbelief propagationanda self-adapting dissimilarity measure［C］. Proceedings of 18th International Conference on Pattern Recognition，2006，18（3）：15-18.

［7］Wang Z，Zheng Z. A region based stereo matching algorithm using cooperative optimization［C］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

［8］Yang Q X，Yang R G，Davis J，et al. Spatial-depth super resolution for range images［C］.Proceedings of IEEE Conference on Computer ^sion and Pattern Recognition，2007：1-8.

［9］翟振剛.立體匹配算法研究［D］.北京：北京理工大學，2010.

［10］施陳博.快速圖像配準和高精度立體匹配算法研究［D］.北京：清華大學，2011.

［11］Bleyer M，Rother C，Kohli P，et al. Object stereo：Joint stereo matching and object segmentation ［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2011：3081-3088.

［12］呂娜，馮祖仁.質心迭代圖像跟蹤算法［J］.西安交通大學學報，2007，41（12）：1396-1399.

A Kind of Sub-pixel Accuracy Adaptive Image Matching Algorithm for Binocular Ranging System

ZHANG Yao，ZHAO Yang，LIU Boyu，CHI Mingchen，YANG Jinhua
（School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Abstract：In view of the disadvantages of the low matching accuracy and the slow speed of the matching accuracy in the sub-pixel accuracy image matching algorithm，the normalized cross correlation algorithm based on gray scale is improved，an adaptive method for dynamically adjusting the range of matching regions is proposed，it can not only ensure the accuracy of sub-pixel level matching，but also improve the operation speed. Experimental results：Improved algorithm，both ensuring the accuracy of 0.2 pixels matching，and improving the operation speed，Be able to meet the real-time requirements of the practical application

Key words：sub-pixel；self-adaption；image matching；normalized cross-correlation

中圖分類號：TP391.41

文獻標識碼：A

文章編號：1672-9870（2016）02-0014-05

收稿日期：2015-10-10

作者簡介：張堯（1986-），男，碩士研究生，E-mail：254874002@qq.com

通訊作者：楊進華（1969-），男，博士，教授，E-mail：yangjh@cust.edu.cn