基于立體視覺的汽車安全車距預警系統研究＊

張鳳靜 王紅陽 張 軒

（中國電子科技集團公司第28研究所 南京 210007）

1 引言

汽車安全車距預警系統作為智能交通的一個重要分支是近年來的研究熱點，它是一種當本車與周圍車輛或者障礙物距離較近時向司機預先發出報警信號的裝置。立體視覺測距利用間隔固定的兩個攝像頭對前方同一景象拍攝，通過對兩幅圖像分析處理得到目標的三維點坐標。

相比于已有的超聲波、激光雷達、毫米波雷達、紅外線測距等，立體視覺測距的優點是：受環境影響小；可以獲得汽車周圍的圖像信息，得到精確、豐富的道路信息；作為一種被動接受系統，不需向外發射信號，避免大量裝備后各個車輛之間的相互干擾。

視覺系統在安全輔助駕駛方面的應用，國外典型的有意大利Parma大學研制的ARGO試驗車，該車采用“GOLD視覺系統”［1］，利用雙CCD攝像機構成雙目視覺系統實現前方車輛的檢測、識別和定位［2］。處于應用探索階段的有梅塞德斯奔馳研制的智能汽車安全駕駛輔助系統，豐田汽車、富士重工等也推出了相應的用于展示的產品。

國內的研究起步較晚，目前有清華大學“移動機器人課題組”研制的智能車［3］，吉林大學的Jutiv系列智能車［4］，此外重慶大學［5～6］、南理工團隊的研究［7～8］也頗有成效。相關專利有南理工的基于單目視覺的汽車巡航控制方法及其實現系統，上海世科嘉車輛技術研發的基于單目機器視覺的車輛距離測量方法，以及深圳先進技術研究院發明的一種基于機器視覺的防撞預警方法及裝置。

從已掌握的國內外研究現狀來看，基于雙目立體視覺的車距預警系統在國內的研究較少，國內尚未推出此類產品，國外現有產品尚未大規模使用。本課題自主研發視頻輸入設備，基于DM642平臺，開發出一整套視覺測距系統。

2 本文采用的系統框圖

系統包括雙目視頻輸入模塊，視頻圖像處理模塊和視頻輸出模塊。其中視頻輸入模塊由兩臺自主研發的攝像頭構成，視頻處理模塊實現的功能包括對攝像機內、外參數的標定及車輛檢測定位、距離測量，最后在視頻輸出設備中輸出結果。

3 雙目立體視覺系統

雙目立體視覺系統的具體實現是用兩臺參數性能完全相同、位置固定的圖像采集設備，獲取同一景物的兩幅圖像，計算同一空間點在兩幅圖像中的視差，確定三維空間點的深度信息［9～10］。

3.1 雙目立體視覺系統的模式

最基本的雙目立體視覺的幾何關系如圖2（a）所示，稱為雙目橫向成像模式［11］，它由兩臺完全相同的攝像機組成，兩臺攝像機的圖像平面位于同一平面，光軸與Z軸重合，坐標系統對應的光軸精確地平行。其中B為基線距離，指兩攝像機光心之間的距離，f為攝像機的焦距。

圖2（b）所示為雙目橫向匯聚模式的系統，兩攝像機光軸匯聚，放置在同一水平線上。本系統研究時最初采用的是圖2（a）所示的系統，但由于實際操作中兩臺攝像機不可能完全相同，兩臺攝像機的光軸系統也不可能完全精確地平行，所以在考慮算法時采用的是圖2（b）所示的系統，圖2（a）的系統就是圖2（b）所示系統兩條光軸平行的情況。

圖2 雙目立體視覺系統模式

3.2 立體視覺系統的標定

空間物體表面某點的三維幾何位置與其在圖像中對應點間的相互關系是由攝像機成像的幾何模型決定的，這些幾何模型對應的參數稱為攝像機的參數，攝像機標定就是為了得到這些參數進行的試驗和計算過程［12］。

目前的攝像機標定方法有兩類：傳統標定方法和攝像機自標定法。張正友平面模板標定法［13～14］是一種介于傳統的攝像機標定方法與攝像機自標定方法之間的算法，這種標定方法用攝像機對一個已知尺寸的棋盤格式平面模板在兩個以上不同方位進行拍攝，攝像機和平面模板可以自由移動，不需要知道參數，操作簡單靈活。

本系統采用的視覺系統有兩個攝像機，標定時采用張正友平面模板標定法先對單個攝像機分別進行標定得到左右攝像機各自的內部參數和外部參數，通過計算得到兩攝像機的位置關系。

設空間一點P在世界坐標系、攝像機坐標系C1、攝像機坐標系C2下的非齊次坐標分別為Xw，Xc1，Xc2。C1與世界坐標系之間相對位置的外部參數為旋轉矩陣R1和平移向量t1，C2與世界坐標系之間的相對位置的外部參數為旋轉矩陣R2和平移向量t2。這些參數有如下關系［15～16］：

進一步可得：

由式（2）可知攝像機C1和C2的位置關系用R和t可表示如下：

由式（3）可知，由左右兩個攝像機各自的外部參數R1，t1和R2，t2，可以計算出兩個攝像機之間的相對幾何位置關系R和t。

根據對左右兩個攝像頭分別進行標定得到的結果，計算出雙目立體視覺設備兩個攝像頭之間旋轉矩陣和平移矢量如下：

旋轉矩陣：

平移矢量：

試驗結果如圖3所示。

圖3 標定板在雙目標定中的外參數示意圖

圖3所示為標定板在雙目立體視覺系統中不同位置的示意圖。由標定結果可知，旋轉矩陣R近似為單位矩陣，平移矢量Y軸和Z軸的平移近似為零，可以認為只存在平移不存在旋轉，和實際情況很相符。平移矢量中X軸的平移為1127.2mm，與實際的基線距離1125.0mm非常接近，可見標定的雙目立體攝像機結果是正確的。

4 雙目立體視覺測距原理

對圖4所示的兩幅圖片，采用檢測車輛底部下邊緣陰影的方法［17］檢測出車輛在圖像中的位置坐標，取檢測起始點和終點的中點為計算目標車輛位置的特征點，圖4（b）為右邊攝像機所拍圖片的檢測結果，其中車輛位置坐標為（317 239）。用同樣的方法檢測出同一時刻左邊攝像機所拍攝圖片中車輛所在位置的檢測結果為（332 224）。

圖4 車距測量試驗圖

采用公垂線中點法計算出距離［18］。采用同樣的方法選取100m內不同距離進行試驗，試驗方法及數據參見文獻［18］。

5 基于DM642的系統硬件實現

圖5 硬件系統原型圖

本文硬件系統原型圖如圖5所示，圖中設備包括：雙目視頻輸入設備（圖中4個攝像頭中啟用最左邊和最右邊一個），視頻輸出設備，基于DM642的開發平臺，JTAG仿真器，TOSHIBA筆記本。其中雙目立體攝像系統和基于DM642的開發平臺是自行設計和開發的。

雙目視頻輸入設備的主要芯片為兩片OV7950芯片［19］。基于DM642的產品開發平臺是整個系統的核心部分，該開發平臺為一塊基于DM642的核心板，以DM642芯片［20～22］為核心，由視頻編碼模塊、視頻解碼模塊、存儲模塊、電源模塊、JTAG接口等組成。視頻解碼模塊和雙目視頻采集板連接主要完成實時視頻數據的采集，視頻編碼模塊和顯示器連接用于顯示試驗結果。

目前系統能夠實現雙通道圖像采集、實時視頻圖像處理、視頻輸出等功能，應用于汽車安全車距預警系統，目前可以實現單幀圖像的處理和顯示，處理時間為0.1s。

6 結語

本文在雙目立體視覺系統的原理的基礎上，開發出基于DM642的系統硬件平臺，對雙目立體視覺系統進行了內外參數的標定，在公路上進行模擬試驗，獲得車在路面的圖像，對圖像進行處理，獲取車輛在圖片中的位置，采用公垂線中點法計算出車輛距攝像頭的距離，最后顯示輸出結果。

當前雙目立體視覺系統在安全車距方面的應用還比較少，本文的后續研究工作還有很多：1）檢測車輛時車道局限于直的車道，可以擴展到彎車道，從算法上實現各種車道中車輛的檢測；2）將攝像機標定算法固化到系統中，系統上電后即可自標定，采用可變焦的攝像頭，提高測量的距離和精準度；3）優化硬件實現算法，提高速度和精度，減少運算量，增強系統的實時性和準確性。

［1］Massimo Be rtozzi，Alberto Broggi.GOLD：A Parallel Real－Time Stereo Vision System for Generic Obstacle and Lane Detection［C］／／IEEE Transactions on Image Processing，1998，7（1）：62－81.

［2］Massimo Bertozzi，Alberto Broggi and Alessandra Fascioli.The ARGO autonomous vehicle’s and control systems［J］.International Journal of Intelligent Control and Systems，1999，13（4）：409－441.

［3］郭磊，徐友春，李克強，等.基于單目視覺的實時測距方法研究［J］.中國圖象圖形學報，2006，11（1）：74－81.

［4］顧柏園.基于單目視覺的安全車距預警系統［D］.吉林：吉林大學，2006：1－143.

［5］謝毅，黃席樾.基于機器視覺的車輛對稱中心檢測［J］.重慶工學院學報（自然科學版），2007，21（4）：8－11.

［6］周欣，黃席樾，黎昱.基于單目視覺的高速公路車道保持與距離測量［J］.中國圖象圖形學報，2003，8（5）：590－595.

［7］周俊杰.基于單目視覺的夜間車輛和車距檢測［D］.南京：南京理工大學，2007：1－54.

［8］馬偉.基于單個攝像機的車輛檢測與跟蹤［D］.南京：南京理工大學，2008：1－80.

［9］馬頌德，張正友.計算機視覺－計算理論與算法基礎［M］.北京：科學出版社，2003：72－94.

［10］王潤生.圖像理解［M］.長沙：國防科技大學出版社，1998：46－74.

［11］章毓晉.圖像工程（下冊）圖像理解（第二版）［M］.北京：清華大學出版社，2007：24－56.

［12］韓九強.機器視覺技術及其應用［M］.北京：高等教育出版社，2009：12：1－36.

［13］Zhang Z.A Flexible New Technique for Camera Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，26（10）：44－48.

［14］Janne Heikkila，Olli Silven.A Four－step Camera Calibration Procedure with Implicit Image Correction［J］.Computer Vision and Pattern Recognition，1997：1106－1112.

［15］李洪海.一種簡便的雙目攝像機標定方法［J］.淮陰工學院學報，2009，18（3）：56－61.

［16］李洪海.基于移動機器人的雙目立體視覺技術研究［D］.南京：南京航空航天大學，2007：17－47.

［17］張鳳靜，夏偉杰.雙目立體視覺測距系統目標車輛檢測算法研究［J］.重慶科技學院學報，2011（1）：161－164.

［18］張鳳靜，周建江，夏偉杰.基于雙目立體視覺的汽車安全車距測量方法［J］.智能系統學報，2011（1）：79－84.

［19］OV7950Datasheet［M］.California，USA：Omnivision inc，2006：1－20.

［20］TMS320DM642Video／Imaging Fixed Point Digital Signal Processor［M］.Texas，USA：Texas Instruments，2004：12－47.

［21］王躍宗，劉京會.TMS320DM642應用系統設計與開發［M］.北京：人民郵電出版社，2009：23－34.

［22］李建科，黃席樾，杜長海，等.基于TMS320DM642的嵌入式實時圖像處理系統設計及應用［J］.自動化與儀器儀表，2009，142（2）：19－22.