基于視覺的無人駕駛汽車研究綜述

唐智威TANG Zhi-wei（格拉斯哥大學 工程學院，格拉斯哥 G11 6QQ）

基于視覺的無人駕駛汽車研究綜述

唐智威
TANG Zhi-wei
（格拉斯哥大學 工程學院，格拉斯哥 G11 6QQ）

隨著汽車的廣泛普及，電子和計算機技術的快速發展，無人駕駛已經成為一個前景廣闊的領域。感知技術是無人駕駛領域最基礎的關鍵技術之一，各種傳感器被應用在無人駕駛汽車上。基于視覺的感知技術，其數據獲取容易，信息量大，受到了研究人員的廣泛青睞。主要從三個方面探討視覺在無人駕駛汽車中的研究：一是利用視覺進行定位，二是利用視覺識別道路和交通標志，三是利用視覺實現避撞。最后，對基于視覺的無人駕駛技術進行了總結。

無人駕駛；視覺；定位；道路和交通標志識別；避撞

0　引言

現在，許多研究機構都在研發無人駕駛汽車，比如斯坦福大學獲得DARPA挑戰賽冠軍的Stanley［1］，谷歌公司的Google Car［2］和寶馬公司的自主駕駛汽車（selfdriving car）［3］。這些無人駕駛汽車都已經能夠在特定環境中完成某種程度的自主駕駛。視覺作為無人汽車對外界環境和自身位置姿態感知的重要手段，得到了越來越多的研究。視覺感知研究的主要問題有：無人駕駛汽車的自主定位，自主構建環境地圖，自主識別可行駛區域和交通標志，以及識別道路上的其他車輛和行人。本文針對以上問題的相關研究進行了綜述。

1　基于視覺的無人汽車導航的發展現狀

無人汽車的環境感知涉及到多種傳感器的應用，當前，世界上各個研究機構所用的傳感器包括激光雷達，GPS，慣性導航，攝像頭，毫米波雷達，超聲波雷達等。視覺攝像頭因其獲取的信息量大，價格低廉，且得到的信息非常直觀，得到了廣泛的研究。

1.1基于視覺的定位

定位是在無人駕駛汽車導航中最基本和最重要的功能之一。無人汽車需要通過定位系統準確、實時地感知自身在環境中的相對位置。定位分為絕對定位和相對定位，絕對定位通常借助于GPS等衛星導航系統，局部定位方法很多，可以采用慣性導航的方式（陀螺儀和加速度計等）。基于視覺的定位提供了一種直觀的相對定位方式，可以配合其他傳感器一同使用，也可通過對比前后幀圖像的方法獨立使用。因定位的重要性，它還往往與導航、避撞等技術結合起來研究。

為了實現精確，穩定的定位結果，張奕然等［4］提出了一種通過雙目視覺利用路標的地理位置信息對GNSS（全球衛星導航系統）定位精度進行局部改良的方法。從雙目攝像機獲取圖像后，采用隨機Hough變換檢測路標，采用SIFT算法和K-means算法對路標進行匹配識別，利用雙目視差計算智能車與路標之間的向量，從而建立輔助定位模型，計算車輛的位置。Julius Ziegler等［5］提出了一種基于視覺輔助定位和導航的方法。他們研發的無人車Bertha使用依賴定位信息的幾何地圖。利用視覺技術檢測車道線，類似道路元素和相關點特征，從而實現視覺輔助定位。另一種比較精確的定位方法是采用三維激光雷達，但成本較高，而采用攝像頭結合激光雷達事先建立的地圖，進行聯合定位，可以獲得較好的效果。Ryan W. Wolcott等［6］提出一種基于地圖的視覺定位方法，該方法首先利用激光雷達對環境生成合成視圖，其次通過比較視覺測量信息和該合成視圖，將它們的歸一化交互信息（normalized mutual information）最大化找到無人車所處的位置。

近年來基于視覺的同時定位與地圖構建技術（V-SLAM）快速發展也為無人汽車利用視覺進行定位和地圖構建奠定了基礎［7］。SLAM問題可以描述為無人汽車在未知環境中運動并且在自身位置不確定的情況下逐步構建環境地圖，同時對自身姿態和位置進行估計，從而實現自主定位和導航的技術。而V-SLAM問題［8］是基于多視圖幾何原理，根據相機拍攝的圖像特征同時分析出每幀圖像對應的相機位置和朝向信息，以及場景的三維結構。這種技術需要進行圖像特征的匹配，有賴于場景特征的豐富程度，但是結合其他傳感器如IMU的數據就可以在很大程度上解決這個問題。

大連理工的段華旭［9］針對基于圖的SLAM的前端構圖、閉環檢測及后端優化三個環節展開研究。采用基于雙目視覺進行立體圖像匹配，計算出無人車連續位姿間的旋轉平移關系，并以此為基礎完成優化前的位姿拓撲地圖構建。采用了一種基于ORB圖像特征和BoW模型的閉環檢測算法，并利用時間連續性約束和幾何一致性約束來避免錯誤的閉環匹配對，從而提升閉環匹配的正確率。在線閉環檢測以提供額外的空間約束，實現位姿拓撲地圖的優化。位姿拓撲地圖的后端優化采用了經典的高斯-牛頓優化方法，并且利用稀疏的Cholesky分解對矩陣方程進行求解。最終實現了系統誤差的最小化，得到一幅校正的無人車位姿極大似然拓撲圖。

1.2基于視覺的道路和交通標志檢測與識別

視覺技術可以幫助無人汽車按照交通標線標志的規定行駛，通常這部分工作也依賴基于視覺的檢測和識別技術。對于道路的檢測和識別通常簡化為檢測和識別道路的邊界，在城市結構化道路中就是檢測和識別車道線。交通標志的檢測和識別，因環境可能比較復雜，實時性要求較高，誤檢漏檢的可能性較高。

1.2.1基于視覺的道路檢測與識別

基于圖像技術的道路識別主要分為結構化道路的識別和非結構化道路的識別。結構化道路指的是邊緣較規則，路面平坦沒有起伏，有相對明顯的車道線及其他人工標記的行車道路。對于結構化道路，方啟龍［10］提出了利用不變矩理論，其得到的特征量對發生傾斜、轉動和縮放的圖像有保持不變的性質。對在自然條件下會產生形變的道路標線，采用該方法可以很好地完成特征提取。另外他基于相似性度量的分類方法對交通標線進行識別，來降低車載視頻圖像中因交通標線形狀變化甚至畸變等造成的影響。而非結構化道路因道路邊緣特征不明顯等問題一直是識別的難點，近年來得到廣泛研究，其重點在于識別的實時性和魯棒性。實時性要求道路識別系統能夠在車輛通過該路段前的短時間內對道路的邊緣和位置做出識別，而魯棒性要求識別系統能夠在復雜天氣和環境中正常工作。常用方法有基于圖像特征的識別方法和基于道路模型的匹配方法。

Fernando等［11］提出了一種基于自適應顏色直方圖的方法，采用隨機抽樣一致性算法從攝像機獲取的道路圖像中獲取道路的邊緣和消失點，同時使用啟發式算法來檢查道路識別的時空一致性。該方法可以兼顧道路識別系統的實時性和魯棒性，并且可以在沒有道路的越野條件下使用。逄偉［12］采用兩種方法綜合處理，一是將由攝像機拍攝的RGB空間圖像轉換到HSV色彩空間，之后將圖像在飽和度域二值化，經過膨脹閉運算填補圖像中的陰影區域之后使用腐蝕閉運算放大圖形邊緣，將圖像的路面部分分割出來。而后使用Canny算子進行邊緣檢測，使用Hough變換并結合最小二乘法的思想對圖形中道路邊緣的部分進行直線檢測，獲得道路邊緣后候選集合，最后將兩者的結果進行融合，從而得到較為準確的道路邊緣位置。劉振超［13］在圖像預處理時將RGB圖像轉換為亮度圖像，計算圖像ROI內任一像素的水平亮度微分，如果其值小于一定閾值，則可找到可能的車道線左邊緣，對其坐標進行透視變換，找出可能的車道線左右邊緣，得到車道線中央坐標。對其進行透視變換后，使用Hough變換分段檢測直線。將前后幀檢測的直線進行比較，消除錯誤檢測及未檢測的影響，把相鄰兩區域直線交點進行反向透視變換，最后把得到的坐標進行分段連接即可得到最終的車道線。

1.2.2基于視覺的交通標志的檢測與識別

關于道路交通標志的檢測，陳芝協［14］提出了兩種交通標志檢測方法。第一種基于顏色和形狀信息，它的優點是檢測速度較快，同時不需要任何的模型或樣本。第二種方法是基于顏色信息和Adaboost的交通標志檢測技術，這種方法適合采集樣本充足的情況，因為它需要的訓練樣本較多。這種方法的好處在于它可以擴展應用于信號燈檢測和行人檢測等用途。胡錦城［15］提出一種基于并行策略及輪廓幾何特征分析的交通標志檢測方法。該算法中并行執行基于顏色特征的圖像分割和基于形狀特征的交通標志區域檢測，以取并集的形式綜合確定候選目標區域，從而定位交通標志，并利用區域面積、長寬比以及位置等先驗信息進行驗證，實現對交通標志的檢測。

而關于道路交通標志的識別，Smorawa等［16］認為，交通標志的識別可以通過邊緣檢測、特征提取、標志的定位、標志的比較和再識別等來實現。他們使用Canny邊緣檢測算子標記該路標的位置，同時道路標識圖像的有效特征將被提取并保存到數據庫。新拍攝的圖像將與數據庫進行比較以識別路標。張愛愛［17］對基于顏色的交通標志分割算法進行了改進，交通標志顏色相同但過度鮮艷的噪聲對自適應閾值的過度影響得以避免，很大程度上增強了分割算法對干擾噪聲的魯棒性。同時他還提出基于傅里葉描述子的形狀分割算法，在很大程度上減少了噪聲的影響，提高了分割準確率。在此基礎上，提出了基于學習的HSC（Histograms of Sparse Codes）特征的道路交通標志識別算法，提高了道路交通標志識別的準確率。在交通標志的識別方面，陳芝協［14］提出了兩類交通標志的識別方法，一種是基于Zernike不變矩結合支持向量機（SVM）的識別算法，此方法不需要獲得大量的交通標志樣本就能有很好的分辨效果，而且識別速度也較快，有很強的實用性。第二種方法基于稀疏表達分類算法（SRC）或基于系統編碼分類算法（CRC），通過對實驗結果分析可知，SRC和CRC兩種方法對遮擋和光照問題有較高的魯棒性。而且隨著特征維數的增加，基于協同編碼的算法耗時要遠小于基于系數表達的算法，而且兩者的準確率相差很小。針對光照變化和道路標志可能被部分遮擋的情況，胡錦城［15］提出一種基于多幀視頻圖像的高穩定特征的識別方法。利用交通標志的多幀視頻圖像的SURF特征建立bag of SURFs特征向量集，與標準交通標志圖像的模板特征向量集匹配，并采用權值計分策略的最高得分確定交通標志的識別結果。

1.3基于視覺的避撞技術

碰撞是汽車可能面臨的最常見事故，避免碰撞也成為無人駕駛汽車至關重要的需求。避撞技術的研究主要包括運動障礙物的檢測，障礙物的運動軌跡估計及預測，控制汽車實現對運動障礙物的避撞。基于視覺的避撞技術通常結合基于距離的避撞技術（傳感器如激光雷達、毫米波雷達等）一起使用。

Kaempchen等人［18］使用攝像機和激光掃描儀檢測并跟蹤其他移動物體的位置、速度、方向和尺寸并以此描述每個對象的運動以進行態勢評估，前面步驟的數據將通過一系列快速和復雜的算法處理形成碰撞假設，進而做出是否剎車的決定。李宇［19］引入一種稱為V視差的算法。這種算法首先進行立體匹配，即從雙目圖像對中尋找同名點，并利用同名點合成濃密視差圖像，提取視差信息做為目標識別的依據，并進一步生成V視差圖。提取V視差圖中的直線信息，進而鎖定目標大致區域，最后進行目標識別。這種方法可以識別前方具有面特征的障礙物，如行人、車輛和墻壁等等。該算法對于光照、陰影等干擾不敏感，避免了城市環境中復雜背景的干擾。朱志剛［20］等利用重投影變換技術，使用單攝像機雙目立體成像、圖像級重投影變換、非零視差濾波和姿態自適應動態重投影變換，利用重投影變換圖像間的路面視差為零和非路面視差不為零的特性，在不提取特征的情況下，實現了對路面障礙物的實時監測。

2　結論

無人駕駛領域是當前的研究熱點，本文對無人駕駛中的主要視覺處理研究工作進行了介紹，主要是基于視覺的定位、道路和交通標志的識別和檢測、以及避撞技術等。可以看到，該領域已經取得了一定的進展，比如能夠實現較為準確的定位、檢測并識別車道線和交通標志以及避免可能發生的碰撞等。不過，無人駕駛系統的適用范圍、準確性、安全性、實時性和魯棒性仍有待提高。尤其是比起激光雷達等基于距離的傳感器來說，基于視覺的傳感器對于距離的檢測往往不夠精確，實時性也較差，這方面需要進行傳感器信息的融合才能較好地解決。

［1］ Stanford University，Stanley［EB/OL］.https：//en.wikipedia.org/ wiki/Stanley_（vehicle），2005.

［2］ Fountain.‘Yes， Driverless Cars Know the Way to San Jose'［J］. The New York Times，2012.

［3］ Malone.‘Hands off the wheel， Tommy -- for you the driving is over'［J］.Sunday Times，2013.

［4］ 張奕然，郭承軍，牛瑞朝.智能車雙目視覺輔助GNSS定位方法研究［J］.計算機工程與應用，2015.

［5］ J. Ziegler， H. Lategahn， M. Schreiber， C. G. Keller， C. Knoppel， J. Hipp， M. Haueis，C. Stiller.Video based localization for bertha［J］. Intelligent Vehicles Symposium Proceedings， 2014 IEEE. IEEE，2014：1231-1238.

［6］ R. W. Wolcott and R. M. Eustice.Visual localization within LiDAR maps for automated urban driving［A］.2014 IEEE/RSJ International Conference on Intelligent Robots and Systems［C］. 176-183.

［7］ Lategahn H， Geiger A， Kitt B. Visual SLAM for autonomous ground vehicles［A］.2011 IEEE International Conference on Robotics and Automation［C］.1732-1737.

［8］ 劉浩敏，章國鋒，鮑虎軍.基于單目視覺的同時定位與地圖構建方法綜述［J］.計算機輔助設計與圖形學學報.2016，28（6）：855-868.

［9］ 段華旭.無人車基于雙目視覺室外即時定位與地圖構建［D］.大連理工大學.2015.

［10］ 方啟龍.基于無人車輔助導航的交通標線識別方法研究［D］.安徽大學，2012.

［11］ Bernuy， F.， del Solar， J. R.， Parra， I.， Vallejos， P.Adaptive and Real-Time Unpaved Road Segmentation using Color Histograms and RANSAC［A］.2011 9th IEEE International Conference on Control and Automation［C］.136-141.

［12］ 逄偉.低速環境下的智能車無人駕駛技術研究［D］.浙江大學， 2015.

［13］ 劉振超.基于圖像的車道線檢測［D］.中國科學技術大學，2012.

［14］ 陳芝協.城區道路交通標志的檢測與識別［D］.中國科學技術大學，2012.

［15］ 胡錦城.基于穩定特征的交通標志檢測與識別技術研究［D］.湖南大學，2012.

【】【】

［16］ Smorawa， Dorota， and Mariusz Kubanek.Analysis of advanced techniques of image processing based on automatic detection system and road sings recognition［J］.Journal of Applied Mathematics and Computational Mechanics，2014，1：13.

［17］ 張愛愛.道路交通標志的檢測研究［D］.北京交通大學，2015.

［18］ Kaempchen，Schiele， Dietmayer Situation Assessment of an Autonomous Emergency Brake for Arbitrary Vehicle-to-Vehicle Collision Scenarios［J］.Intelligent Transportation Systems， IEEE Transactions，2009，10：678-687.

［19］ 李宇.基于雙目視覺的障礙物識別研究［D］.武漢理工大學，2007.

［20］ 朱志剛，林學.基于重投影變換的實時障礙物檢測視覺系統［J］.計算機研究與發展，1999：77-84.

A review of driverless cars based on vision

TP391.4

A

1009-0134（2016）08-0134-03

2016-06-28

唐智威（1992 -），男，北京人，本科，研究方向為智能控制。