基于攝像機標定的實時倒車軌跡算法

耿慶田,趙宏偉,樊 雪,趙德芳,趙 揚

(1.吉林大學 計算機科學與技術學院,長春 130012； 2.長春師范學院 計算機科學與技術學院,長春 130032)

可視倒車系統是汽車輔助系統的重要組成部分,目的是幫助駕駛者克服車后盲區的困擾完成倒車.較早的倒車輔助系統是語音報警提示系統和超聲波雷達倒車系統,這兩種系統均無視覺功能,無法解決車輛后盲區的問題.之后出現的由車載后視攝像頭和車載顯示屏以及用于采集圖像數據和處理圖像數據控制器組成的倒車輔助系統可以看到車后的場景,但車后障礙物的距離需要有經驗的駕駛者預測.如果能在顯示屏上根據駕駛者所旋轉的方向盤角度預測出車輛的倒車軌跡， 并配有距離標尺的輔助倒車系統對駕駛者倒車操控會很有幫助.本文提出的基于攝像機標定理論[1-5]的實時倒車軌跡算法結合了針孔攝像機模型和鏡頭徑向畸變模型,將在世界坐標系下推導的倒車軌跡方程通過攝像機坐標系、 成像坐標系和圖像坐標系的坐標變換,再經過徑向畸變模型矯正后生成倒車軌跡模型， 該系統能在倒車過程中把車后若干米內的場景以影像的方式顯示,并有警戒線和警戒區提示功能,還能較準確地預測出倒車軌跡,幫助駕駛者準確倒車入位.

1 實時倒車圖像采集算法

實時倒車軌跡算法圖像采集部分采用Video For Linux Two技術,簡稱V4L2.該技術是Linux 系統下進行視頻、 音頻等應用開發的應用編程接口,結合視頻采集設備和相應的驅動程序,可實現音影圖像采集功能[6].使用V4L2技術采集圖像的采集系統流程如圖1所示.

圖1 視頻圖像采集流程Fig.1 Procedure of video capture

該算法為程序定義的數據結構[2,4]：

typedef struct v4l2_struct

{

int fd；

struct video_capability capability；

struct video_channel channel；

struct video_picture picture；

struct video_window window；

struct video_capture capture；

struct video_buffer buffer；

struct video_map map；

struct video_buf buf；

unsigned char*map；

int frame；

int framestat；

}vd.

2 實時倒車軌跡獲取算法

實時倒車軌跡的獲取是根據某一時刻汽車方向盤所旋轉的角度計算,旋轉角度值通過角度信號獲取模塊(實際是一個CAN通信模塊,主要由MCP2510和TJA1050連接組成)實現.下面給出倒車軌跡方程的推導過程.

車輛泊車的運動模型如圖2所示[7].其中：(xf,yf)為前軸中心點坐標;(xb,yb)為后軸中心點坐標;v為前軸中心點速度;l為軸距;w為后輪距;φ為前軸中心點轉向角;θ為車輛中心軸與水平方向的夾角.一般情況下,倒車速度小于5 km/h,因此可認為無滑移現象產生,后輪軌跡的縱向速度為0.由圖2可知如下方程成立：

圖2 倒車運動學模型Fig.2 Kinematics model of vehicle reversing

前軸中心點坐標關系為

(2)

對其進行求導后可得前輪的速度關系如下：

(3)

(4)

又由圖2可知：

(5)

將式(5)代入式(4)可得

(6)

將

(7)

代入式(6)可得角速度

(8)

將式(5)和式(8)代入式(3)可得

(9)

將式(8)對時間積分可得

(C為常量,設C=0).

(10)

將式(10)代入式(9)可得

(11)

將式(11)對時間積分可得后輪中心點軌跡方程為

(12)

由式(12)可得

(13)

由圖2和式(12)可知左后輪軌跡方程為

(14)

由式(14)可得

(15)

同理可得右后輪軌跡方程為

(16)

由式(15)，(16)可知,倒車軌跡只與軸距l、 后輪距w和前軸中心點轉向角φ有關,所以當車型選定,即軸距l和后輪距w確定后,則倒車軌跡只與前軸中心點轉向角φ有關， 即與車的方向盤旋轉角度有關.

3 實時倒車軌跡顯示算法

圖3 針孔攝像機模型Fig.3 Model of pinhole cameras

倒車軌跡的實時繪制并顯示過程根據攝像機標定理論實現.攝像機標定是指建立攝像機圖像像素位置與場景點位置間的關系過程,途徑是根據攝像機模型,由已選特征點的圖像坐標和世界坐標求解攝像機的模型參數[8-9].本文采用的攝像頭是JMK WS-309A模擬攝像頭,遵循針孔攝像機模型,其圖像傳感器為面陣傳感器.攝像機標定理論主要標定攝像機的內參數和外參數.針孔攝像機的攝像機模型[10-11]如圖3所示.世界坐標系中的PW通過鏡頭投影中心投影到成像平面上的點p,在無畸變情況下,點p為PW經過投影中心與成像平面的交點.該過程涉及4個坐標系：世界坐標系、 攝像機坐標系、 成像坐標系和圖像坐標系.先把世界坐標系中的PW轉換到攝像機坐標系中,再把攝像機坐標系的x軸和y軸分別平行于圖像的c軸和r軸,z軸垂直于成像平面,沿z軸方向將攝像機前面所有點的z坐標設為正數.

實時倒車軌跡顯示算法步驟如下：

1) 將車載攝像頭固定在車尾部,使用標定算法進行攝像機標定,得到車載攝像頭的內參數矩陣A、 外參數矩陣(R,T)及畸變系數K;

2) 在車后建立世界坐標系,世界坐標系的x軸平行于車尾,y軸垂直于車尾,z軸垂直于地面(設z=0,即表示地面);

3) 從角度信號獲取模塊得到實時角度值,如果角度值為0即方向盤沒有旋轉,則顯示屏實時顯示警戒線和警戒區;如果方向盤發生旋轉,角度信號獲取模塊將得到實時旋轉角度值;

4) 根據實時倒車軌跡獲取算法推導出左右后輪的軌跡方程,將步驟2)中所建立坐標系的x值和步驟3)中方向盤旋轉實時角度值代入式(15)，(16)可得對應的y值， 從而可得滿足倒車軌跡方程的坐標對,再將其所有坐標對中z軸坐標值設為0(因為系統建立的世界坐標系基于假設路平面,即z=0)；

5) 將這些三維坐標通過右乘攝像機外參數矩陣和內參數矩陣得到相對應成像坐標系的點坐標， 即通過

(17)

得到其坐標(坐標(u,v)為該像素在數組中的行數和列數);

6) 進行坐標點矯正.因為多數鏡頭都可近似為徑向畸變,畸變模型[12-13]如下:

(18)

通過

(19)

進行坐標點的畸變矯正;

7) 將成像坐標系的點坐標轉換到圖像坐標系并將其顯示于顯示屏上.

4 實驗測試結果與誤差分析

本文對上述倒車系統進行了大量實驗和測試,測試的硬件平臺基于ARM9 S3c2440[14],操作系統為Linux， 測試用車為訂制實驗車,軸距為59.5 cm,后輪距為43.6 cm.在實驗中把右轉彎的角度值設為正,左轉彎的角度值設為負.系統通過測量方向盤旋轉角度值分別為5°，-5°，10°，-10°，15°，-15°，20°，-20°.結果表明， 模擬軌跡和真實軌跡基本吻合.實驗車測試現場如圖4所示， 其中：深紅色線條為模擬計算的倒車軌跡； 淺黑色線條為后輪的實際行駛軌跡.為更清楚地說明上述二者軌跡之間的誤差,下面舉例說明誤差的計算過程: 在距車后輪起點垂直方向100 cm處(即y=100 cm)畫一條平行于x軸的直線,該直線與系統模擬計算出的軌跡和實驗車真實軌跡相交于兩點間的水平距離,即為度量模擬軌跡精確度的誤差,如圖5所示.

圖4 系統測試現場照片Fig.4 Picture of system testing

圖5 誤差示意圖Fig.5 Schematic diagram of error

左右后輪在方向盤旋轉上述角度值模擬出的軌跡和車輪實際行駛軌跡水平誤差值分別列于表1和表2.本文所用實驗車的車輪寬度為9.0 cm,以此數據和誤差值進行對比可知本系統的精度較高.

縱向測距誤差是指系統生成的軌跡縱向距離和實際軌跡縱向距離的差值,實驗數據列于表3.實驗過程：在實驗現場,分別在距離實驗車車尾垂直方向40,80,120 cm處做出標記點,用系統生成警戒區之間的縱向距離(即圖4中藍區、 綠區、 紅區)和實際標記點做比較得到的值.表3中長度和角度所對應的數值即為警戒區和實際距離標記點的誤差， 即縱向測距誤差,角度即實驗車的轉角.

表1 左后輪軌跡誤差Table 1 Error data of the left rear wheel trajectory

表2 右后輪軌跡誤差Table 2 Error data of the right rear wheel trajectory

水平測距誤差是指系統生成兩個后輪軌跡的水平距離和實際軌跡水平距離的差值,實驗數據列于表4.實驗過程：在距離實驗車尾部垂直方向的40,80,120 cm處畫出實驗車兩后輪間距43.6 cm長度的水平線段和系統生成兩后輪軌跡間的水平距離相比較即得到水平誤差.表4中長度和角度所對應的值即為水平測距誤差,角度即實驗車的轉角.

表3 縱向測距誤差Table 3 Error data of experimental measurement of the vertical distance

表4 水平測距誤差Table 4 Error data of experimental measurement of the level distance

根據實驗數據可建立左右后輪的平均誤差與車轉角間的關系,如圖6所示,其中：x軸為實驗車轉角；y軸為誤差； ●表示右后輪平均誤差隨車轉角的變化趨勢； ■表示左后輪平均誤差隨車轉角的變化趨勢.為了使本系統生成的圖像以實時方式顯示,需要調整圖像的播放幀率,經過多次測試本系統的顯示端播放幀率列于表5.

表5 實際播放時的幀率測試Table 5 Test of frame rate of video playing

圖6 左右后輪平均誤差隨車轉角的變化趨勢 Fig.6 Change trend of trajectories average errors of left and right rear wheels with the rotalional angle of vehicle steering wheels

由表5可見， 基于該算法系統1 d的平均幀率為12.5 幀/s,表明算法在實時上符合要求,而中午和晚上的平均幀率相差2幀,表明光線強度會影響基于該算法的系統播放端幀率.

通過對上述實驗數據的分析可知,基于該算法系統出現誤差的主要原因如下：

1) 攝像機標定算法理論上需要一個純二維標定板,本文在制作標定板時,由于標定紙上有大量打印墨水,導致變干后標定紙出現微微的褶皺變形,從而使系統標定時產生微小誤差；

2) 實驗車輪在一定程度上的側滑現象導致系統產生誤差；

3) 測量過程中人為的標記測量符號產生誤差.

綜上可見， 本文提出的基于攝像機標定理論的實時倒車軌跡算法生成的帶有預測功能的車輪軌跡達到了較高的精確度,有一定的實用價值.

[1] Furukawa Y,Ponce J.Accurate Camera Calibration from Multi-view Stereo and Bundle Adjustment [J].International Journal of Computer Vision,2009,84(3): 257-268.

[2] ZHANG Hui,Wong K Y K,ZHANG Guo-qiang.Camera Calibration from Images of Spheres [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(3): 499-502.

[3] Strecha C,Von Hansen W,Gool L V,et al.On Benchmarking Camera Calibration and Multi-view Stereo for High Resolution Imagery [C]//Proc IEEE Conf Computer Vision and Pattern Recognition.Anchorage: [s.n.],2008: 1-8.

[4] CHEN Yi-song,Horace I,HUANG Zhang-jin,et al.Full Camera Calibration from a Single View of Planar Scene [C]//Lecture Notes in Computer Science.Berlin: Springer,2008: 815-824.

[5] Davide Scaramuzza,Agostino Martinelli,Roland Siegwart.A Flexible Technique for Accurate Omnidirectional Camera Calibration and Structure from Motion [C]//IEEE International Conference on Computer Vision Systems (ICVS’06).Los Alamitos: IEEE Computer Society,2006: 45.

[6] CHEN Liang,PEI Hai-long,WU Yue.Programming for the Capture of Image on Video4 Linux2 [J].Microcomputer Information,2009,25(7): 65-67.(陳亮,裴海龍,伍越.基于Video4 Linux2的圖像采集程序設計 [J].微計算機信息,2009,25(7): 65-67.)

[7] WU Rui-hong,ZHANG Guang-ren.Derivation and Experimental Verification of the Vehicle Trajectory for Backward Motion [J].2006,53: 94-102.(吳瑞鴻,張光仁.車輛倒車運動軌跡理論推導與驗證 [J].車輛研測資訊,2006,53: 94-102.)

[8] Furukawa Y,Ponce J.Accurate Camera Calibration from Multi-view Stereo and Bundle Adjustment [J].Int J Comput Vision,2009,84(3): 257-268.

[9] Fiala M,SHU Chang.Self-identifying Patterns for Plane-Based Camera Calibration [J].Machine Vision and Applications,2008,19(4): 209-216.

[10] ZHANG Zheng-you.A Flexible New Technique for Camera Calibration [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11): 1330-1334.

[11] HU Nai-ping,LI Lu.The Research and Design of the Can Bus to Ethernet Gateway Based on SSL [C]//Proceedings of the Second International.Washington DC: IEEE Computer Society,2009: 135-138.

[12] Lanser S,Zirel C,Beutlhauser T.Multibildkalibrierung Einer CCD-Kamera [C]//Mustererkennung,Informatik Aktuell.Berlin: Springer-Verlag,1995: 481-491.

[13] Berzins V.Accuracy of Laplacian Edge Detectors [J].Computer Vision,Graphics,and Image Processing,1984,27(2): 195-210.

[14] Samsung.S3C2440A 32-Bit CMOS Microcontroller User’s Manual Revision 1 [EB/OL].2009-07-03.http:// www.samsungsemi.com/.