全景環(huán)視輔助泊車系統(tǒng)的研究

白永,關利海

(華晨汽車工程研究院,遼寧沈陽 110141)

全景環(huán)視輔助泊車系統(tǒng)的研究

白永,關利海

(華晨汽車工程研究院,遼寧沈陽 110141)

隨著城市道路越來越擁擠，駕駛員行車和停車的環(huán)境也日益復雜，能否為駕駛員提供車輛周圍全方位的可視監(jiān)控信息是提高行車安全性的關鍵。為此，對一種全景環(huán)視泊車輔助系統(tǒng)進行了研究，該系統(tǒng)包括1個中央控制器、1個顯示器和分別安裝在車輛前、后和兩側的4個廣角攝像頭。4個攝像頭分別采集車輛前、后、左和右4個方向的圖像信息，傳送給中央控制器，經(jīng)過攝像頭參數(shù)校正、鏡頭扭曲校正、鳥瞰視角轉換、白平衡匹配和圖像縫合處理，最終在顯示器上顯示一個可直觀監(jiān)視車輛周圍環(huán)境的全景鳥瞰畫面。

全景環(huán)視；視角轉換；圖像縫合；泊車輔助

0 前言

隨著經(jīng)濟的發(fā)展，城市道路上的車輛越來越多，司機駕車和停車的環(huán)境越來越復雜。為此，能提高行車安全性的泊車輔助系統(tǒng)越來越受到人們的關注。因此各種汽車駕駛輔助系統(tǒng)應運而生，如超聲波測距的倒車雷達系統(tǒng)、在車輛后方安裝攝像頭的后視影像系統(tǒng)等。這些系統(tǒng)都在一定程度上減輕了駕駛員的負擔，但都有不夠直觀、存在盲區(qū)的缺點，比較理想的輔助駕駛系統(tǒng)應該能夠提供車輛四周全方位、無盲區(qū)的監(jiān)控信息[1]。因此，文中對一種全景環(huán)視泊車輔助系統(tǒng)進行研究，旨在為駕駛員提供直觀的車輛周圍環(huán)境信息，從而更大程度地提高行車安全性。

1 全景環(huán)視系統(tǒng)組成、原理

該系統(tǒng)由1個中央控制器、1個顯示器和分別安裝在車輛前、后和兩側的4個廣角攝像頭組成，系統(tǒng)結構如圖1所示。

4個攝像頭分別采集車輛前、后、左和右4個方向的圖像信息，傳送給中央控制器，經(jīng)過攝像頭參數(shù)校正、鏡頭扭曲校正、鳥瞰視角轉換、白平衡匹配和圖像縫合處理，最終在顯示器上顯示一個可直觀監(jiān)視車輛周圍環(huán)境的全景鳥瞰畫面，圖像處理過程如圖2所示。

2 攝像頭參數(shù)與鏡頭扭曲校正

全景環(huán)視系統(tǒng)的復雜程度取決于使用攝像頭數(shù)量的多少，為了降低系統(tǒng)實現(xiàn)的難度，就要盡可能采用較少的攝像頭，該系統(tǒng)采用4個攝像，即車輛每個方向用1個攝像頭進行監(jiān)控。普通攝像頭受到視野范圍的局限，無法用單個攝像頭監(jiān)控車輛一側全部的范圍，因此該系統(tǒng)采用廣角攝像頭來采集車輛四周的圖像。廣角攝像頭的引入，增加了攝像頭的視野范圍，同時也造成了圖像的嚴重畸變，要反映實際景物，必須要進行攝像頭參數(shù)校正和鏡頭扭曲校正。

2.1 攝像頭參數(shù)校正

利用攝像頭監(jiān)控時，首先要進行的第一步是標識攝像頭參數(shù)校正。對于尚未進行校正的攝像頭而言，是無法辨別物體真正大小的，甚至相對大小都無法辨識。攝像頭參數(shù)校正的目的是為了建立實際3D空間和圖像投影平面的關系，如圖3所示。

攝像頭參數(shù)校正分為內部參數(shù)校正和外部參數(shù)校正。內部參數(shù)主要實現(xiàn)圖像坐標和攝像頭坐標之間的變換，它反映了攝像頭的內部幾何學成像原理，也就是如何從光學系統(tǒng)形成圖像的過程，內部參數(shù)校正在攝像頭安裝到車輛上之前即可完成。攝像頭外部參數(shù)實現(xiàn)實際3D空間坐標到2D圖像平面坐標的變換，反映了攝像頭在實際車輛上的安裝位置和方向。這些與車輛相關的外部參數(shù)要在攝像頭安裝到車輛上之后，才能完成校正[2]。

2.2 鏡頭扭曲校正

廣角鏡頭的一般定義為：鏡頭的焦距比CCD對角線的長度短的攝像頭。由于廣角鏡頭焦距短，雖然視角會增大，可是光學成像的特性會造成離鏡頭中心越遠的影像，其形變越大，離鏡頭中心越近的影像，其形變越小，即所謂的扭曲失真[3]。光學成像特性如圖4所示。

扭曲的影像必須要經(jīng)過校正才能繼續(xù)進行后續(xù)的處理，鏡頭扭曲校正的目的就是了為盡量減小3D空間中的物體映射到攝像頭圖像平面中所引起的圖像扭曲失真。鏡頭扭曲校正的效果如圖5—7所示。

圖5 原始圖像

圖6 扭曲校正圖像 圖7 扭曲校正后的圖像

3 鳥瞰視角轉換與白平衡匹配

3.1 鳥瞰視角轉換

由于安裝在車輛四周的每個攝像頭受到安裝位置的限制，光軸與地面存在一定的角度，獲取到的視頻圖像存在透視效果，而全景環(huán)視系統(tǒng)所要求的全景鳥瞰圖，從視覺效果上要求是90°的俯視效果，因此需要對車輛前、后、左和右4個方向的視頻圖像進行逆投影變換，消除視頻圖像的透視效果，將視頻圖像轉換為鳥瞰圖。

為了得到視頻圖像的俯視圖，需要建立生成的俯視圖像與原始圖像之間的像素映射關系，如圖8所示，將俯視圖中每個像素與原始圖中的像素對應。視角轉變后的效果如圖9、圖10所示。

圖8 像素坐標對應關系

圖9 原始圖像 圖10 視角轉換后的圖像

3.2 白平衡匹配

車輛在行駛中，車身周圍的環(huán)境會受到光照、天氣等因素的影響，視頻圖像的亮度、色彩和對比度容易降低，會影響對駕駛員的輔助功能。另一方面，車輛行駛過程中，每個攝像頭所處的光照環(huán)境不同，所獲取的圖像亮度、色彩也不一致，并且隨著車輛行駛，每個攝像頭的亮度、色彩時刻都在變化。因此，為了使得到的全景鳥瞰圖像亮度和色彩均勻、一致，必須對整個系統(tǒng)的白平衡參數(shù)進行匹配。

白平衡的匹配過程如下：首先需要根據(jù)環(huán)境條件，對每個攝像頭的白平衡參數(shù)進行調節(jié)，確保每個攝像頭的亮度、色彩良好，然后中央控制器會將4個攝像頭的白平衡參數(shù)進行整合，重新均勻分配。這種調節(jié)是動態(tài)、實時進行的，從而使得車輛運行過程中，全景畫面的色彩、亮度始終一致。

4 圖像縫合

攝像頭采集的圖像，在經(jīng)過扭曲校正、視角轉換和白平衡匹配之后，要通過一種圖像縫合算法，將4個攝像頭的圖像縫合成一幅完整的全景圖像，如圖11所示。

采用基于圖像特征的圖像縫合算法，對于不同特性的圖像，選擇圖像中容易提取并能夠在一定程度上代表縫合圖像相似性的特征作為縫合依據(jù)。基于特征的方法在圖像縫合中具有較強的適應性，根據(jù)特征的選擇和特征匹配方法的不同，可衍生出許多具體的縫合方法。這些縫合方法的主要共同之處是首先要對待拼接的圖像進行預處理，也就是特征提取的過程，再利用提取到的特征完成兩幅圖像特征之間的匹配，通過特征的匹配關系建立圖像之間的拼接映射變換。基于圖像特征的拼接方法分為以下3個步驟：計算并提取圖像的特征集；將這些特征作為控制結構，尋找兩幅圖像控制結構的映射關系；建立控制結構件的空間域的集合變換。通常利用最小二乘法原則建立一個二維多項式函數(shù)來對集合變換進行擬合。圖像縫合后實際效果如圖12所示。

圖11 圖像縫合示意圖

圖12 圖像縫合效果

5 總結

針對道路行車環(huán)境日益復雜、人們渴望通過一種先進的輔助泊車系統(tǒng)來提高行車安全性，提出了一種全景環(huán)視輔助泊車系統(tǒng)。對整個系統(tǒng)的結構和工作原理進行了介紹，并對系統(tǒng)實現(xiàn)過程中的攝像頭參數(shù)校正、鏡頭扭曲校正、鳥瞰視角轉換、白平衡匹配和圖像縫合等關鍵技術進行了分析和研究。相信文中對全景環(huán)視輔助泊車系統(tǒng)的研究將對汽車安全輔助系統(tǒng)的發(fā)展有一定的指導價值。

【1】 操虹.車載環(huán)視顯示系統(tǒng)設計[D].合肥：合肥工業(yè)大學，2009.

【2】 TSAI T Y.An efficient and accurate camera calibration technique for 3D machine vision[C]//IEEE Proceedings of Conf on Computer Vision and Pattern Recognition,1980.

【3】 袁輝.魚眼鏡頭視頻圖像實時校正算法研究與實現(xiàn)[D].廣州:中山大學,2007.

ResearchonAroundViewMonitorSystemforParkingAssistance

BAI Yong, GUAN Lihai

(Brilliance Automotive Engineering Research Institute, Shenyang Liaoning 110141,China)

With the urban roads more crowded and the environment of driving and parking for driver more complicated, whether the driver can be provided the visible surrounding information of vehicle is the critical factor for improving the driving security. Therefore, a around view monitor (AVM) system for parking assistance was researched. This AVM system was composed by a controller, a monitor and four wide-angle cameras which were mounted in front, rear and both sides respectively. The complete surrounding image information in front, back and sides of vehicle were collected by cameras and sent to the controller. After the processing in camera calibration, lens distortion correction, bird-view transformation, white balance match and images mosaic, a complete surrounding bird-view picture which could be used to monitor the surrounding condition clearly was displayed on the screen.

Around view monitor; View transformation; Image stitch; Parking assistance

2013-10-23

白永(1982—)，男，本科，助理工程師，研究方向為探測系統(tǒng)及電氣新技術。E-mail：yong.bai@brilliance-auto.com。