基于單目攝像頭的車輛前方道路三維重建

許宇能朱西產馬志雄李霖

（同濟大學）

基于單目攝像頭的車輛前方道路三維重建

許宇能朱西產馬志雄李霖

（同濟大學）

通過構建6自由度車載單目攝像頭測距模型，實現了攝像頭任意方位變換下車輛前方道路信息的三維重建。同時考慮攝像頭的5個畸變參數，可消除由于畸變引起的測距誤差。提出一種基于地平線位置的標定方法，在非車載情況下完成了對攝像頭的標定，給出了一種利用道路消失點計算道路坡度和車輛偏航角的方法。試驗結果表明，所提測距模型和標定方法具有良好的精度和可操作性。

1 前言

基于單目攝像頭的前方車輛三維位置估算被廣泛應用于駕駛輔助系統開發中。2003年Mobileye提出一種基于單目攝像頭的ACC算法，介紹了單目測距的基本原理[1]，并著重討論了圖像幾何參數對測距和測速精度的影響。2005年Daniel Ponsa研究了地平線位置與車輛實際寬度間的耦合關系[2]，降低了前方車輛三維位置預估的不確定性，給出了無畸變情況下攝像頭坐標系與世界坐標系之間的關系。2006年郭磊等人采用幾何關系推導法得到路面坐標系和圖像坐標系之間的關系[3]，模型中考慮車輛俯仰角，但不考慮畸變。2010年Jianzhu Cui在FCW算法的研究中利用消失點（vanish point）對攝像頭進行標定[4]，利用交比不變性計算本車與前車間的距離，但未考慮車輛俯仰運動對測距的影響。

本文在標定法[5]基礎上，構建了一個考慮攝像頭畸變和車輛俯仰運動等參數的測距模型，消除了攝像頭畸變和車輛俯仰運動等對測距的影響；提出一種基于地平線位置的標定方法，使標定過程更具靈活性和簡便性；給出了一種利用道路消失點計算道路坡度和車輛偏航角的方法。最后，利用試驗對測距模型進行了驗證。

2 測距模型的建立與標定

2.1 理想針孔模型和畸變針孔模型

圖1是理想針孔模型示意圖，攝像頭坐標系XcYcZc和世界坐標系（即車輛坐標系）XwYwZw都服從右手坐標系定則。

世界坐標系下P點坐標[Xw，Yw，Zw]通過下列理想針孔模型計算，可得到像平面投影P點坐標[xp，yp]：

式中，R、T分別為旋轉矩陣和平移向量。

世界坐標系下點[Xw，Yw，Zw，1]′經過R、T變換后，得到攝像頭坐標系下坐標[Xc，Yc，Zc]′，[Xc，Yc，Zc]′經過尺度系數s[6]和內參數矩陣KK的投影變換后，得到像平面坐標系下的點坐標[xp，yp，1]′。然而，現實中攝像頭并不是理想針孔模型，常帶有不同程度的畸變，對于遠離圖像中心的區域，測距誤差很大，如圖2所示。

為此，對式（1）進行下面的替換，得到考慮畸變的像平面上投影點坐標[xp_d，yp_d，1]′：

由式（2）～式（8）可知，為了確定畸變后像平面中投影點位置，需要知道的參數有攝像頭內參數矩陣KK、畸變參數kc（1）～kc（5）和外參數矩陣R、T。其中，KK和kc（1）～kc（5）是固有屬性，不隨攝像頭位置變化而變化，因此，本文使用文獻[7]中的標定工具箱對KK和kc（1）～kc（5）進行標定。而外參數會隨攝像頭位置的變化而變化，假設攝像頭如圖3所示水平安裝，則外參數為[ψ，φ，θ]=[-pi/2，0，0]，T= [0，camera_H，0]′，攝像頭安裝離地高度camera_H由實際測出。

2.2 6自由度變換測距模型

若圖像車輛接地點位置已知，可通過上述畸變針孔模型求解出世界坐標系下相應坐標，此時有唯一解的前提是點位于地平面上，即世界坐標為[Xw，Yw，0]′。但是，車輛在行駛過程中會產生俯仰、側傾等運動，攝像頭外參數會受到影響，為此，在畸變模型基礎上對式（5）進行下面的替換，式（2）～式（4）和式（6）～式（8）保持不變，得到考慮畸變和車輛運動補償后的像平面上投影點坐標[xp_d，yp_d，1]′：

由式（9）可知，需要知道的2個附加變量是ΔR、ΔT。對于單目攝像頭測距，車輛俯仰對測距影響最大，其它5個自由度對測距的影響較小，可以選擇忽略，因此設[Δψ、Δφ、Δθ]=[Δψ、0、0]，ΔT=[0、0、0]′，Δψ為車輛實時俯仰角，可以從車輛傳感器或通過車輛自運動參數估計獲得[8]。

2.3 基于地平線位置的標定

若攝像頭并非如圖1所示水平安裝，而是在俯仰方向存在一定安裝夾角，圖像中實際地平線位置會偏離標定所得的圖像中心點位置，可以通過式（11）計算得到該俯仰角的安裝角度：

式中，fy為像平面y方向的焦距；其它變量含義如圖4所示。

3 道路坡度和車輛偏航角計算

假設車輛在直道上平穩行駛，不產生俯仰運動，圖4中實際地平線位置與標定所得圖像中心點位置的y向偏移量由道路坡度引起，式（11）的計算值即為道路坡度；而x向偏移量由車輛偏航角引起，可以通過式（12）計算車輛偏航角。

式中，fx為像平面x方向的焦距。

4 模型驗證及參數靈敏度分析

4.1 測距模型驗證

在車輛前方繪制用于驗證的單位坐標點，如圖5a中的黑色網格點表示實際地平面上尺寸為2 m×2 m的單位坐標點，是實際投影位置。通過所建立的6自由度變換測距模型，將世界坐標系下的單位坐標點投影到圖像中，如圖5a中的白色網格點表示世界坐標系下Zw=0地平面上尺寸為0.5 m×0.5 m的單位坐標點，是計算投影位置。

然后，調整6自由度測距模型中的Δψ參數，使白色網格地平線與實際地平線位置重合，完成攝像頭安裝俯仰角的標定。隨機選取黑色網格點的一行一列作為驗證試驗中的測距坐標點，在這些坐標點位置處測量距離與實際距離的結果如表1所列。由表1可知，在消除攝像頭畸變后，縱向和側向的測距誤差在5%以內。

表1 測距模型的測量距離與實際距離對比

4.2 道路坡度計算驗證

本文使用10幅標定橫盤如圖6所示。通過標定法[7]得到的外參數ψ作為棋盤實際坡度值，式（11）方法得到的坡度值作為棋盤計算坡度值，結果如表2所列。

從表2數據可知，除了第1、2個視角由于本身實際角度值很小而造成的誤差百分比較大外，第3～10個視角的計算坡度與實際坡度誤差在10%以內。

4.3 真實交通場景前方道路三維重建

將測距模型應用于真實交通場景的測距中，由于縱向和側向距離在真實交通場景中沒有已知的參照標準，本文通過對不同位置處不同類型的車輛進行幾何尺寸測量，間接對測距模型進行驗證。

模型中測量的車輛三維尺寸有車輛的距離、寬度和高度。車輛距離按照文中所提測距模型測出，寬度通過計算車輛尾部矩形底部兩角點側向距離之差得到，高度則通過式（14）求出。

表210 幅標定圖像的實際坡度值與計算坡度值對比

式中，D為本車與前車的縱向距離；h為車輛在像平面的像素高度；fy為像平面y方向的焦距。

測量得到的車輛三維尺寸結果如圖7所示，圖中轎車的實際尺寸(寬度×高度)約為1.71 m×1.47 m，卡車的實際尺寸約為2.47 m×2.58 m，測量尺寸與實際尺寸的誤差在10%以內。

4.4 參數靈敏度分析

由于在車輛行駛過程中攝像頭俯仰角、側傾角和高度3個參數容易產生變化，本文統計了這3個參數對車前縱向距離約30 m和側向距離約2 m位置處的測距影響。統計結果如表3所示，由表3可知，俯仰角每變化0.1°，縱向距離變化1.2～2.5 m，側向距離變化0.08～0.17 m；側傾角每變化1°，縱向距離變化0.48～0.76 m，側向距離變化0.05～0.07 m；高度每變化50 mm，縱向距離變化約1.1 m，側向距離變化約0.08 m。

綜上所述，攝像頭俯仰角、側傾角和高度3個參數對側向測距的影響較小，可以忽略；而對于縱向距離，俯仰角的影響最大，高度次之，最后是側傾角。在轎車行駛過程中，攝像頭側傾角和高度變化相對較小，而俯仰角可達±2°，說明俯仰角是影響縱向測距的主要因素。

表3 俯仰角、側傾角、高度對測距的靈敏度分析

5 結束語

通過建立一個6自由度的攝像頭測距模型，實現了攝像頭任意方位變換下前方道路的三維重建。該模型通過網格化形式顯示道路坐標點，使道路平面的縱向尺寸、側向尺寸和畸變情況直觀顯示。

在測距模型中考慮了攝像頭畸變和車輛俯仰角，使測距精度得到提高。對測距結果試驗驗證結果表明，當攝像頭高度為80mm時，像素誤差在1.2%以內；當攝像頭高度為1.3m時，測距誤差在5%以內。

將文中所提出的模型用于真實交通場景中進行車前道路的三維重建，測量不同位置處不同類型車輛的高度、寬度以及與本車間的距離，測量結果表明，測量的車輛高度和寬度值與實際車輛高度和寬度值誤差在10%以內。

對基于地平線計算車輛俯仰角的方法進行推廣，給出了利用道路消失點計算道路坡度和車輛偏航角的方法。

1Stein G P，Mano O，Shashua A.Vision-based ACC with a single camera:bounds on range and range rate accuracy: Intelligent Vehicles Symposium，2003.Proceedings.IEEE，2003.

2Ponsa D，Lopez A，Lumbreras F，et al.3D vehicle sensor basedonmonocularvision:IntelligentTransportation Systems，2005.Proceedings.2005 IEEE，2005.

3郭磊，徐友春，李克強，等.基于單目視覺的實時測距方法研究.中國圖象圖形學報，2006，11（1）:74～81.

4Jianzhu C，Fuqiang L，Zhipeng L，et al.Vehicle localisation using a single camera:Intelligent Vehicles Symposium(IV)， 2010 IEEE，2010.

5ZhengyouZ.Aflexiblenewtechniqueforcamera calibration.Pattern Analysis andMachineIntelligence，IEEE Transactions on，2000，22（11）:1330～1334.

6于仕琪，劉瑞禎等譯.學習OpenCV.北京：清華大學出版社，2010：353，421，437.

7Bouguet J.（2004，October）Camera calibration toolbox for matlab.MRL-Intel Corp.vailable:http://www.vision. caltech.edu/bouguetj/calib_doc/.

8Stein G P，Mano O，Shashua A.A robust method for computingvehicleego-motion:IntelligentVehicles Symposium，2000.IV 2000.Proceedings of the IEEE，2000.

（責任編輯簾青）

修改稿收到日期為2013年12月1日。

Three-dimensional Reconstruction of the Road Ahead of Vehicle Based on Mono-vision

Xu Yuneng，Zhu Xichan，Ma Zhixiong，Li Lin
（Tongji University）

A 6-DOF mono-vision based camera ranging model is constructed to achieve the three-dimensional reconstruction of the road ahead of vehicle under arbitrary transformation of the camera.Meanwhile，five distortion parameters of the camera are taken into account to eliminate the ranging error caused by distortion.Then，in order to calibrate the off-board camera，a calibration method based on the location of horizon is proposed，and a method for calculating the road gradient and vehicle yaw angle through the location of road vanishing point is proposed.Experimental results indicate that the ranging model and calibration method are of good accuracy and operability.

Advanced drive assist system,Mono-vision,Ranging,Calibration,Threedimensional reconstruction

先進駕駛輔助系統單目視覺測距標定三維重建

U461.5+1

：A文獻標識碼：1000-3703（2014）02-0048-05