準實時雙目視覺測量系統的設計與實現

侯一凡， 王　棟， 唐永鶴， 邢　帥， 徐　青

信息工程大學地理空間信息學院，河南 鄭州，450052

?

準實時雙目視覺測量系統的設計與實現

侯一凡， 王棟， 唐永鶴， 邢帥， 徐青

信息工程大學地理空間信息學院，河南 鄭州，450052

結合立體相機與計算機等硬件設備，本文設計并實現了一套雙目視覺測量原型系統。該系統首先利用張正友標定法解算出相機的內部參數及其相對位置關系；然后實時糾正所獲取的目標場景立體影像，用半全局匹配(SGM)方法對立體影像進行逐像素匹配，計算目標場景的深度圖和三維點云坐標；最后實驗驗證了該系統的可行性，測試了立體影像獲取與目標重建的速度。結果表明，該系統具有一定的實時性與較強的可靠性。

雙目視覺；標定；半全局匹配；核線影像；實時測量

1　引　言

雙目視覺通過模擬人眼處理景物的方式可以獲取目標物體的三維信息，具有非接觸、速度快、精度高、自動化程度好等諸多優點，可以大大提高工業生產效率，逐漸成為人們研究的熱點[1-3]。隨著數字傳感器技術和計算機技術的迅速發展，工業攝像頭能夠實時獲取目標物體的數字影像，而計算機能夠實時接收影像數據并進行高速處理，使得實時雙目視覺測量系統具備了硬件基礎。近年來，計算機視覺測量在理論方面也取得了一定的發展，尤其是攝像機的標定、立體影像的匹配等關鍵技術。例如，張正友[4]提出了一種新的可靠性較好的攝像機標定方法，使得在線標定更加快速方便；范大昭[5]等提出了一種基于相位相關的小基高比影像匹配方法，取得了很好的匹配效果；Heiko Hirschmuller和高波[6，7]提出了一種基于互信息(MI)的半全局匹配方法(Semi-Global Matching，SGM)，取得了較好的匹配效果，而Daniel Scharstein[8]對該方法以及其他幾種經典的匹配方法進行了總結和歸類等。

本文先利用相關的硬件設備構建了一套系統平臺，并通過操作系統和相關驅動對設備進行測試和控制；再依據設備特點、系統要求，合理安排雙目視覺測量系統處理流程。即首先利用張正友標定法解算出相機的內部參數及其相對位置關系；然后實時糾正所獲取的目標場景立體影像，用SGM方法對立體影像進行逐像素匹配，計算目標場景的深度圖和三維點云坐標；最后，實驗測試了該系統的實時性、穩定性，分析顯示重建的三維效果。

2　雙目視覺測量系統的構建

本文所構建的準實時雙目視覺測量系統是一套由軟、硬件相結合的系統，主要包括影像獲取模塊、視覺測量處理模塊、結果顯示模塊等。其中，影像獲取模塊由兩個工業攝像機組成，本系統采用德國的Baslerace攝像機，其具體參數如表1所示。它們分別被固定在鐵架上且鏡頭方向基本一致，以便獲取目標物體的立體影像。

表1工業攝像頭參數表

傳感器類型CCD分辨率1280×1024像素采幀頻率60fps傳感器尺寸6.8×5.4mm像素大小5.3×5.3μm鏡頭焦距25mm

視覺處理模塊由通用的CPU和存儲器組成，主要負責立體影像數據的接收、運算處理以及三維信息的輸出。本系統直接采用聯想ThinkPad T430i型筆記本，其具體參數如表2所示。

表2計算機配置參數

CPUIntel(R)Core(TM)內存2.0G顯卡NVIDIA獨顯頻率2.40GHz硬盤500G接口網口、串口等

兩個工業攝像機與計算機之間用路由器、千兆網線進行連接，既能夠提高數據傳輸的速度，又可以增長數據傳輸的距離。在計算機中安裝攝像機驅動、設置網口協議，則可以對攝像機進行有效控制并實時獲取影像數據。

為了便于立體影像重建目標三維信息、節省處理時間，本系統在三維重建之前先對立體攝像機之間的空間關系進行了標定，即解算出攝像頭的內部參數和他們之間的位置、方位關系；然后將這些參數存入指定空間，以便視覺處理實時調用。整個系統設計的處理流程如圖1所示。

首先，結合已知的標定參數，對立體影像進行非畸變化和核線校正，生成行對準的校正影像；然后，采用SGM方法(見3.2節)對糾正后的立體影像進行逐像素匹配，獲取密集的同名像點；再利用影像之間的幾何關系計算同名像點所對應目標點的三維坐標；最后，由結果顯示模塊演示三維重建的效果。其中，核線校正是將立體影像上的核線投影至平行于攝影基線的影像對上，使得重疊影像上的同名像點必然位于同名核線上[9]；而攝像機標定和影像匹配是處理流程中極為關鍵的兩步，下面給出其具體的實現過程。

圖1　雙目視覺測量系統處理流程

3　關鍵技術實現

3.1攝像機標定

攝像機的標定需要解算每個攝像機的內部參數和兩個攝像機之間的位置關系。其中，內部參數包括攝像機的焦距f、像主點坐標(cx,cy)和鏡頭的畸變參數(k1,k2,p1,p2,k3)等，而位置關系包括攝像機之間的旋轉矩陣R和平移矩陣T。目前，攝像機標定方法有實驗場法[10,11]、張正友法、Tsai兩步法[12]和自標定法[13]等，它們有各自的優缺點，如表3所示。

表3四種標定方法的對比

方法硬件要求算法精度實驗場法室內標定場簡單高張正友法標定板一般一般Tsai兩步法標定板一般一般自標定法無復雜低

圖2　棋盤格標定板及其坐標系

經過比較發現，張正友法和Tsai兩步法操作方便、穩定可靠以及精度較好，但后者解算的畸變參數個數少于前者，因而本文采用前者作為攝像機的標定方法，以便得到更好的畸變糾正效果。該方法需要一塊棋盤格標定板，其表面由一組十分規則的正方形組成且邊長為定值 ，可以構成一個物方坐標系(如圖2所示)。

由圖2可知，棋盤格的角點是一種典型的X型角點，其提取與定位的步驟參見相關文獻[1]。下面給出雙攝像機標定流程圖(如圖3所示)。

圖3　攝像機標定流程圖

攝像機標定的具體步驟：

第一步，在不考慮鏡頭畸變的情況下，依據針孔模型來解算單個攝像機的焦距、像主點坐標和像片的位置、方向；

第二步，考慮鏡頭的徑向畸變和切向畸變，以第一步得到的結果為初始值，用最小二乘方法迭代求解出更高精度的內、外參數；

第三步，依據左右影像的外參數，可以解算出它們之間的位置關系。

3.2影像匹配

目前，常用的逐像素影像匹配算法有Belief Propagation算法、Graph Cuts算法和SGM算法等。通過參閱相關文獻[5,9]對比發現，SGM算法作為一種基于互信息和多方向動態規劃的影像匹配算法，具有匹配效果好、速度快、魯棒性強等特點。因此，本文采用SGM算法作為立體影像的匹配算法。基本思想是：先基于互信息執行逐像素代價計算，再用多個一維的平滑約束來近似一個二維的平滑約束。

假設參考影像像素p灰度為Ibp，對應待匹配影像的同名點q灰度為Imq，函數q=ebm(p,d)表示匹配影像上對應于參考影像像素p的核線，核線參數是d，那么，基于MI的匹配代價函數[9]為：

CMI(p,d)=hIb,fD(Im)(Ibp,Imq)-hIb(Ibp)-hfD(Im)(Imq)

(1)

其中，hIb(Ibp)、hfD(Im)(Imq)分別表示以像素p、q為中心的塊圖像的熵，hIb,fD(Im)(Ibg,Img)表示兩個塊圖像的聯合熵。

沿著路徑r方向，像素p的代價Lr(p,d)由遞歸方式定義為：

(2)

其中，P1、P2為懲罰系數。將各個方向的代價相加，可以得到總的匹配代價

(3)

那么，對于每一個像素點p，深度dp=mindS(p,d)。最后，還需要進行一致性檢查，即依據匹配像點的順序及其之間的距離，來判斷遮擋和錯誤匹配，以確保同名像點的唯一性。具體實現過程如圖4所示。

圖4　SGM匹配算法流程

4　實驗情況

4.1立體攝像機的標定

本文實驗采用的標定板是由復合材料制成，其外形大小為400×300mm，棋盤格陣列為12×9，每個格子的邊長為30 mm。而雙攝像機均配備25 mm的定焦鏡頭，視場角約為15°。為了同時獲

取分別率較好且滿足標定要求的序列立體影像，先將標定板放置雙攝像機正面約兩米處，再由計算機程序觸發攝像機獲取16組標定板影像，如圖5所示。

(a) 　左攝像機獲取影像

(b)　右攝像機獲取影像圖5　雙攝像機分別獲取的標定板影像

在棋盤格角點提取過程中，角點檢測窗口的大小為11×11，每張影像共提取角點數為88個。根據前文所述的方法進行標定，其結果如表4和表5所示。

表4左右攝像機內部參數表

左攝像機誤差右攝像機誤差fx/像素2352.234922.638152363.166322.65101fy/像素2351.584542.693452362.388322.68103cx/像素319.467332.68410314.525732.87803cy/像素284.905411.34325251.761041.25910k1-0.125740.01363-0.136170.01469k22.551810.236611.320560.26180p10.005770.000170.001810.00011p2-0.001720.000130.000800.00012k30.000000.000000.000000.00000

表5左右攝像機的相對位置

X/mY/mZ/m結果-0.00657-0.05537-0.00209誤差0.001140.001580.00091α/°β/°γ/°結果83.07098-0.01790-6.32929誤差0.090260.009700.01914

結合標定的攝像機內參數，糾正每幅影像并獲取標定板角點的位置，計算得到它們的誤差分布圖，如圖6所示。

(a) 　左像標定效果

經過統計得到左攝像機在像平面坐標系的x、y方向上的平均中誤差為(0.03898,0.04561)，右攝像機在x、y方向上的平均中誤差為(0.03775,0.04431)，誤差單位為像素。從圖5中可以看出，標定板占了影像的大部分區域，棋盤格角點相對均勻地遍布整個像面，進而通過它們的精度分析可以代表整個立體影像糾正的精度。從圖6可以看出，各影像中角點誤差最大為0.2個像素，絕大部分角點誤差在0.1個像素以內，基本滿足前文所述的子像素精度。

4.2雙目視覺的實時測量

本系統的影像采集設備是一對工業攝像機，用計算機控制可以同時獲取目標場景的立體像對，每幀像對的大小為2.5 M。而采用千兆以太網來傳輸數據，其所花費的實際時間約為30 ms。當處理完并顯示出場景深度后，系統自動讀入最后傳入的影像數據，重復前面的立體影像處理操作、生成場景深度圖。下面給出一組某時刻獲取的目標場景核線糾正后的立體影像，如圖7所示。

(a)　左像

(b)　右像圖7　糾正后的立體像對

結合前面的標定結果，可以直接糾正獲取的立體像對，其花費的時間為18 ms。由于影像糾正時間只與其大小有關，因而不同影像糾正的時間是基本一致的。接著，本系統用SGM方法對糾正后的立體像對進行逐像素匹配，其深度范圍設置為0至64像素。下面是匹配后目標場景的深度圖和三維模型，如圖8所示。

(a)　深度圖

(b)　三維模型演示圖8　目標場景的深度圖

圖8(a)中采用圖像灰度表示目標區域的深度，其中從白至黑分別表示目標區域由高至低的高程。從圖中的深度信息與真實的地形信息進行比對，可以發現本文采用的SGM算法具有較好的匹配效果。核線影像的最大特點是同名像點在同一條核線，而SGM算法在核線影像的基礎上加入了一致性檢查的方法，進一步提高了匹配的正確率。即連續曲面上的同一目標點在核線影像中的順序應該是一致的，從而可以減少匹配的錯誤率。利用Scharstein提供的測試平臺[7]測試上述立體像對的匹配效果，其非遮擋區域誤匹配率為 11.5%，總體誤匹配率為17.8%，視差邊界誤匹配率為2.6%。圖8(b)中采用色條表示方法來渲染地形的三維信息，從藍至紅分別表示地形由低到高。由圖可知，生成的三維地形中有兩處明顯的撞擊坑區域和一處山地區域，與真實地形相比完全一致，這也說明本文所述方法具有一定的可靠性。

為了進一步測試系統的實時性和實用性，我們將雙攝像機繞著目標物體進行緩慢移動，從不同角度重建其深度信息。下面給出某段時間內每幀像對匹配所花費的時間，如圖9所示。

圖9　某段時間內每幀像對匹配所需時間趨勢圖

由圖9可以看出，每幀像對匹配的時間并不一致，其原因是，不同角度的立體像對存在遮擋不一樣、邊緣點個數不一樣等情況，其匹配計算的時間則存在一定的差別，但是這種差別一般只在很小的范圍內波動。經過統計可知，糾正后的立體像對匹配所花費的平均時間為119 ms，而從影像獲取到生成深度圖所花費時間小于170 ms。

5　結　論

本文將計算機視覺技術與硬件設備相結合，設計了一套準實時雙目視覺測量系統。首先，利用張正友標定法對立體攝像機進行標定，計算得到它們的內部參數及其之間的相對位置關系；接著，由標定結果來糾正立體影像，從而得到核線影像，以提高影像匹配的速度和正確率；然后利用SGM方法對糾正后的立體影像進行逐像素匹配，并估計其正確率；最后，生成目標場景的深度圖和三維模型。實驗證明本文方法是正確可行的，并測試了系統運行所花費的時間，結果表明該系統具有一定的實時性，能夠重建出質量較好的深度信息。

[1]張廣軍. 視覺測量[M]. 北京：科學出版社，2008.

[2]徐青, 吳壽龍, 朱述龍等. 近代攝影測量[M]. 北京：解放軍出版社,2000.

[3]Carlos Cuadrado, Aitzol Zuloaga, Jose L.Marttin, etc. Real-time Stereo Vision Processing System in a FPGA[C]. IEEE Industrial Electronics, IECON 2006 Annual Conference on,2006.

[4]Zhengyou Zhang. A Flexible New Technique for Camera Calibration[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2000,22(11):1330-1334.

[5]范大昭，申二華，李祿等. 基于相位相關的小基高比影像匹配方法[J]. 測繪科學技術學報，2013，30(2)：154-157.

[6]Heiko Hirschmuller. Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2007，30(2)：328-341.

[7]高波. 從雙目立體圖像中恢復三維信息的研究[D]. 上海：上海交通大學，2007.

[8]Daniel Scharstein，Richard Szeliski. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. Internatioal Journal of Computer Vision, 2002, 47(1):7-42.

[9]耿則勛，欽桂勤. 核線幾何的解析分析[J]. 遙感信息，2000(4):11-12.

[10]D.C. Brown. Close-range Camera Calibration[J]. Photogrammetric Engineering, 1971, 37(8):855-866.

[11]T.A. Clarke, J.G. Fryer. The development of Camera Calibration Methods and Models[J]. Photogrammetric Record,1998,16(9):51-66.

[12]R.Y. Tsai. A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. Robotics and Automation, 1987, 3(4):323-344.

[13]C.S. Fraser. Digital Camera Self-calibration[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 1997(52): 149-159.

Design and Development of Quasi Real-time Stereo Vision Measurement System

Hou Yifan， Wang Dong， Tang Yonghe, Xing Shuai， Xu Qing

Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China

A set of binocular vision measurement prototype system is designed and developed combining stereo cameras with computer and other hardware equipment. Firstly, the Zhang Zhengyou calibration method is used to calculate the intrinsic parameters of the cameras and their relative position relations. Secondly, stereo images of the target scene are corrected in real time, the SGM method is used to match the images pixel by pixel, and the depth map of target scene and 3D point cloud coordinate are calculated. Finally, an experiment is conducted to verify the feasibility of the system and the speed of stereo image obtaining and target reconstruction is tested. The result shows that the system possesses good reliability.

stereo vision; calibration; semi-global matching; epipolar image; real-time measurement

2015-11-18。

國家自然科學基金資助項目(41371436)，國家重點基礎研究發展計劃(973計劃)資助項目(2012CB720000)。

侯一凡(1982—)，女，博士研究生，主要從事攝影測量與遙感方面的研究。

P223

A