智能駕駛汽車機器視覺關鍵技術分析

范 靖，山世玉，林先山

智能駕駛汽車機器視覺關鍵技術分析

范 靖1，山世玉*2，林先山1

（1.廣州公路工程集團有限公司，廣東 廣州 510730；2.長安大學 能源與電氣工程學院，陜西 西安 710064）

文章對智能駕駛汽車機器視覺關鍵技術中的圖像采集、圖像處理和圖像分析三個部分進行研究。在圖像采集技術中，重點研究帶電耦合器件（CCD）圖像傳感器和互補金屬氧化物半導體（CMOS）圖像傳感器的特點及其工作原理，并分別介紹基于現場可編程門陣列（FPGA）和數字信號處理機（DSP）的圖像采集卡的工作特點及適用環境。在圖像處理技術中，對感興趣區域提取、圖像灰度化處理、圖像濾波去噪和邊緣檢測等環節進行研究。在圖像分析技術中，重點對比傳統的數字圖像識別技術和基于深度學習的圖像識別技術。結合對三個部分工作原理與特點的研究，對智能駕駛汽車機器視覺技術未來的發展趨勢進行展望，提出人工智能化、車聯網、車輛通信系統和多傳感器化等發展構想。

機器視覺；圖像采集；圖像處理；圖像分析；智能駕駛

據《2022中國統計年鑒》上有關數據顯示[1]，2021年中國個人汽車保有量達26 152.02萬輛。隨著機動車數量的不斷增長，交通事故頻發。根據數據統計[2]，全球每年共有135萬人因交通事故失去生命。為了減少交通事故的發生，智能駕駛汽車應運而生。智能駕駛汽車依靠搭載的各類傳感器、控制器、執行器和通訊模塊等設備，完成對汽車的輔助操控，并具備對突發狀況的應急處理能力以及預測道路未知信息的能力[3]。智能駕駛汽車相關的技術主要包括：感知技術、決策技術、路徑規劃和跟蹤控制技術等[4]。機器視覺技術是感知技術的一部分，通過機器視覺技術與多傳感器融合的感知方案，使得系統可靠性大大提高[5]。

本文對智能駕駛汽車機器視覺技術的三個組成部分進行研究。對于圖像采集技術，主要研究其核心原件圖像傳感器的種類和工作原理；對于圖像處理技術，主要研究感興趣區域提取、灰度化處理、濾波去噪和邊緣檢測等技術的特點；對于圖像分析技術，主要研究傳統的數字圖像識別技術和基于深度學習的圖像識別技術等兩種技術的特點和關鍵環節。在此基礎上，結合車聯網、多傳感器化和車輛通信系統等技術，對機器視覺在智能駕駛汽車領域的應用進行了展望和討論。

1 圖像采集技術

圖像采集技術主要通過數字攝像頭拍攝目標物體，之后利用光電器件將獲得的光信號轉換成數字信號，再經移動產業處理器傳至下一部分，由控制模塊對數字信號做初步優化處理，最后經過安全數字輸入輸出接口存入存儲卡（Trans Flash, TF）中。

圖像傳感器主要有攝像頭傳感器和光電傳感器兩種，相較于光電傳感器，攝像頭傳感器具有前瞻遠度高、獲取信息量多以及方便圖像后期處理等優點，因此得到廣泛應用。常用的攝像頭傳感器有帶電耦合器件（Charge Coupled Device, CCD）和互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor, CMOS）。CCD相機將一定數量的CCD排成陣列[6-7]，例如512×480和 1 024×768，這被稱為解析度，標志著成像的清晰程度高低。在上個世紀九十年代，我國就有研究學者將CCD相機應用于汽車的前照燈強度測量上[8]。進入新世紀后，CCD相機在汽車上的應用發展迅猛，將CCD相機獲取的圖像導入到計算機中，采用不同圖像處理方法對圖像進行分析，從而判斷汽車前照燈是否符合標準[9]。隨著深入研究，應用CCD相機對車燈在路面上的發光狀況進行檢測[10]，從而可以衡量車燈的性能優劣。

近些年來，伴隨著半導體材料的發展和革新， CMOS相機也獲得了非常大的進步，與CCD相機不同，CMOS集成在金屬氧化物的半導體材料上[11]。CMOS材料在制造過程中技術難度低，擁有更為低廉的成本，并且具有高集成、低功耗和抗輻射等優點，在智能輔助駕駛領域得到廣泛的應用。通過設計基于CMOS相機的車道偏離和預警裝置[12-13]，能夠對駕駛員在駕駛過程中無意識偏離車道做出檢測和報警功能。應用CMOS相機的車載高清環視系統將布置在汽車周身的攝像模組采集到的圖像拼接到一起，從而獲得汽車周圍的信息，幫助駕駛員通過汽車的全景俯視圖[14]，來判斷是否有障礙物影響或障礙物的位置距離等信息。

圖像在采集之后的傳輸環節中，會出現反復讀寫的情況，依靠性能良好的圖像采集卡可以解決這一問題。目前廣泛使用的有基于現場可編程門陣列（Field Programmable Gate Array, FPGA）的圖像采集卡和基于數字信號處理機（Digital Singnal Processor, DSP）的圖像采集卡。基于FPGA的圖像采集卡具備內部存儲豐富和處理速度快捷的優點，可以提高圖像采集傳輸速度，優化圖像質量[15]?；贒SP的圖像采集卡有著較快的處理速度，但時序控制能力弱[16]，更加適合于偏向圖像處理的圖像采集系統。同時以DSP為核心的圖像采集系統可以同時執行多個操作，具備更低的制造成本和更小的能耗。

2 圖像處理技術

圖像處理技術是機器視覺技術的核心所在，依靠硬件設備和軟件算法的相互配合，對圖像進行分割和噪聲濾除，完成數據處理。圖像處理技術主要有感興趣區域劃分、圖像灰度化、圖像濾波和邊緣檢測等幾個步驟，本文將以車道線檢測為例，詳細說明各個步驟工作原理。

2.1 感興趣區域

在車道線檢測過程中，采集的圖像包含有很多與車道線無關的信息，為了減少不必要的計算量，需要進行圖像感興趣區域提?。≧egion Of Interest, ROI）。由于在實際行駛過程中，拍攝到的圖片上半部分為天空和道路兩旁建筑等無關信息，所以在圖像處理過程中，可以將此部分圖像信息舍棄，僅對含有道路信息的圖像下半部分進行分析，如圖1所示[17]，經ROI提取之后，將圖像的下半部分作為感興趣區域，并確定ROI邊界[18]。

圖1 ROI提取

2.2 圖像灰度化

數字攝像機拍攝到的圖片均為RGB（Red, Green, Blue）三通道彩色圖像[19]，雖然信息量豐富，但由于其色彩繁多，在圖像處理時，計算過程復雜，影響工作效率。因此，可將RGB圖像做灰度化處理，將三通道圖像轉變為單通道的灰色圖像，如圖2和圖3所示[20]。

圖2 原始圖像

圖3 圖像灰度化處理

圖像灰度化處理有四種方法，分別是平均值法、分量法、最大值法和加權平均法[21-22]。平均值法是對于三個通道數值做平均化處理，分量法則是任意取三個通道數值中的一個值作為灰度化處理的通道數值，最大值法是取三個通道數值中的最大數值作為實際處理的通道數值，加權平均法對三個通道數值進行加權平均處理，既符合人眼對色彩的敏感程度，也能夠突出被識別對象特征[21-22]。每種方法特點如表1所示。

表1 四種圖像灰度化處理方法效果對比

2.3 圖像濾波

車輛在行駛過程中，由于實際路況因素，在收集的圖像中會存在噪聲等現象，影響圖像處理的精度，可以通過圖像濾波解決這一問題。目前常用的濾波方法有均值濾波、中值濾波、雙邊濾波和高斯濾波。

均值濾波[23]的原理是對圖像進行像素化處理，將全部像素加權平均，然后覆蓋原有像素。中值濾波[24]屬于非線性濾波，其原理是選擇圖像中某一像素，確定鄰域范圍，將此鄰域范圍內的所有像素從小到大排序，取其中間值，替換掉原有中心像素值。雙邊濾波[25]也是一種非線性濾波方法，在對圖像邊緣區域的像素進行濾波時，離邊緣較遠的像素值不會對邊緣的像素值產生很大的影響，從而可以使圖像邊緣比較清晰。高斯濾波[26-27]是一種線性濾波，原理是用高斯卷積核對整個圖像的像素值進行加權平均，把卷積核所對應的位置和其所覆蓋到的地方相乘，然后做加法，從而獲得中心區域的像素值。高斯卷積核的大小通常是3×3、5×5和7×7的矩陣。

2.4 邊緣檢測

圖像濾波去噪之后，需要對圖像中物體特征進行增強，這就要應用邊緣檢測和邊緣增強等處理方法。常用的邊緣檢測有Sobel算法[28]和Canny算法[29]。Soble算法采用的Soble算子，是離散的一階差分算子，這種算子在處理圖像像素點時能夠獲得對應像素點梯度，或者其法向量的矢量。根據每個像素的位置對圖像的影響程度不同，Sobel算子對此情況進行加權處理，使得檢測出的邊緣清晰度有明顯提高。Soble算子的形式是濾波算子，能夠非?？焖俚靥崛∵吘墸荢obel算法對于噪聲梯度變化的適應性不夠充足，對噪聲比較敏感，容易造成特征的丟失。

Canny算法在近些年的研究中得到廣泛的認可，通過設置雙閾值，可以消除特征的丟失，增強表現圖像的輪廓。輸入的圖像由小波分解后形成高頻和低頻兩部分，先對高頻部分設置閾值去噪。然后，將處理過的高頻部分和低頻部分重構，得到高頻去噪圖，再對其中低頻信號做相應的閾值去噪，最后進行小波逆變換處理。Canny算法在實際應用過程中可以精準的提取圖像邊緣，同時不受噪聲的影響[30]，且能夠識別圖像中的弱邊緣和強邊緣[31]。圖4為Canny邊緣檢測操作后的顯示圖像[20]。

圖4 Canny邊緣檢測后圖像

3 圖像分析技術

圖像分析技術是利用數學模型對經過處理后的圖像提取相關的應用特征，從而獲得圖像的信息。在機器視覺技術發展前期，主要依靠傳統的圖像分析技術，但是傳統的圖像分析技術容易受到其他因素影響，魯棒性較差[32]。伴隨著半導體芯片技術的發展和計算機算法的發展，基于深度學習的圖像分析技術逐漸取代傳統的圖像分析技術，成為主流應用的圖像分析技術[33]?；谏疃葘W習的圖像分析技術有基于卷積神經網絡和基于語義分割等多種方法[34-35]，能夠滿足大量圖片的分析要求，并且魯棒性較好，但是該技術對于算法的要求比較高。

3.1 傳統的圖像識別技術

在車道線檢測過程中，需對圖像的特征信息進行提取，對采集到的車道線進行擬合。通過圖像識別分割之后，得到的車道線像素點比較集中，容易造成車道線的缺失。通過逆透視變換可以獲得車道線的鳥瞰圖，在鳥瞰圖中車道線近乎于平行分布，使得效果更為直觀，不容易造成像素點的丟失，便于后面車道線的擬合。圖5和圖6分別為原始車道線效果圖和經過逆透視變換操作后的效果圖[36]。經逆透視變換后，利用最小二乘法[37-38]擬合車道線。

圖5 原始車道線效果圖

圖6 逆透視變換效果圖

3.2 基于深度學習的圖像識別

目前應用最為廣泛的是基于卷積神經網絡（Convolutional Neural Network, CNN）的圖像識別方法[39]。CNN有卷積層、激活層、池化層和全連接層等4部分組成，其中，最為關鍵的是卷積層。不同的卷積核負責不同的圖像特征[40]，分別對應紋理、邊緣、顏色等多種圖像特征，并且可以采用多項式擬合的方法對車道線進行預測[41]。圖7為卷積層計算過程圖[42]，假設輸入圖像為一個5×5的二維矩陣[43]，其對應的卷積核為一個3×3的二維矩陣。卷積的操作過程從輸入數據的左上角開始，以卷積步長按照先上后下，先左后右依次后移，當卷積核位于輸入數據的左上角即圖7左端紅色區域時，計算結果為1×1+2×0+3×1+6×0+ 7×1+9×1+8×0+7×1=27。

圖7 卷積層計算過程

4 智能駕駛汽車機器視覺技術展望

伴隨著人工智能技術和互聯網技術的不斷進步，智能駕駛汽車與信息通信技術加速融合發展，電動化、網聯化和智能化成為智能駕駛汽車的新特點。智能駕駛汽車和互聯網大數據的融合成為發展趨勢，并且伴隨著計算機算法的推陳出新和智能硬件芯片的應用，今后智能駕駛技術會逐步向儲能單元、移動智能終端和數字空間方向拓展。

4.1 人工智能化

隨著算法的不斷改良和硬件設施的發展進步，結合機器視覺技術與人工智能技術的融合發展，未來智能駕駛汽車不僅僅依靠機器視覺技術來構造輔助駕駛系統，更會實現各種復雜路況的無人駕駛，形成以人工智能為基礎的智能駕駛汽車技術。以硬件設備更新為主，配合算法的設計和改良，未來智能駕駛汽車的計算處理能力和存儲能力將大大提高，能在各種復雜場景下完成合理判斷，提高駕駛的安全性。

4.2 車聯網

隨著5G等互聯網技術的不斷進步，機器視覺技術與車聯網技術相互配合，輔助以大數據計算中心，將收集到的數據匯總，結合對交通設施數據的收集，可以對道路擁堵情況做出判斷，將判斷后的指令傳輸到智能駕駛汽車，可以有效緩解汽車擁堵情況。結合汽車本身內部各類傳感器，可以幫助智能汽車尋找就近的加油站或充電樁，也可以精準進行故障診斷，并及時給出預警。

4.3 車輛通信系統

機器視覺技術與車輛通信系統的配合同樣是智能駕駛汽車未來的發展趨勢之一。裝載車輛通信系統的智能汽車，可以實現對于駕駛員駕駛行為的實時評估和監控，提供車輛實時的安全信息和車輛行駛的時間地點信息，配合以機器視覺技術對于車輛行駛過程中道路情況的反饋，可以有效地避免交通事故的發生，提高道路行駛的安全性。

4.4 多傳感器化

隨著數字攝影機、圖像處理卡等設備的發展，機器視覺技術未來可以實現多種功能協同運轉，例如機器視覺技術與各類傳感器相配合，解決單一設備在實際使用過程中的局限性，在光照條件不好不適合圖像技術的運用時，可以借助雷達和傳感器對圖像技術進行補充，而在復雜路況下對于傳感器干擾因素比較多時，可以通過圖像為主的提取方法提取道路信息，取長補短，發揮各項技術的長處。

5 結論

本文研究了機器視覺技術在智能駕駛汽車領域的發展現狀，對智能駕駛汽車機器視覺技術中圖像采集、圖像處理和圖像分析技術進行了研究。首先介紹了圖像傳感器的種類和工作原理，其次對圖像處理技術中的感興趣區域提取、灰度化處理、濾波去噪和邊緣檢測等技術環節進行了介紹，然后分別介紹了傳統的數字圖像識別技術和基于深度學習的圖像識別技術的特點，最后結合人工智能、車聯網、多傳感器化和車輛通信系統等技術對未來機器視覺技術在智能駕駛汽車領域的發展提出了展望。

[1] 中華人民共和國國家統計局.2022年中國統計年鑒. [EB/OL].(2022-01-01)[2023-03-06].http://www.stats. gov.cn/sj/ndsj/2022/indexch.htm.

[2] 張翔,唐小林,黃巖軍.道路結構特征下的車道線智能檢測[J].中國圖象圖形學報,2021,26(1):123-134.

[3] 楊濤.智能駕駛車輛跟蹤控制方法設計與試驗[D]. 合肥:安徽農業大學,2022.

[4] 王金強,黃航,郅朋,等.自動駕駛發展與關鍵技術綜述[J].電子技術應用,2019,45(6):28-36.

[5] 劉金橋,吳金強.機器視覺系統發展及其應用[J].機械工程與自動化,2010(1):215-216.

[6] 朱飛虎.機器視覺原理及應用[J].自動化博覽,2005 (2):81-83.

[7] 王海霞,李凱勇,陳佳舟.基于機器學習的高速線陣CCD圖像數據采集系統[J].現代電子技術,2022, 45(10):160-164.

[8] 李策.基于計算機視覺的汽車車燈檢測技術研究[D].北京:北京化工大學,2021.

[9] 張勇.基于圖像處理的汽車前照燈檢測系統的研究[D].長春:長春理工大學,2009.

[10] EKRIAS A,ELOHOLMA M,HALONEN L,et al.Road Lighting and Headlights:Luminance Measurements and Automobile Lighting Simulations[J].Building & Environment,2008,43(4):530-536.

[11] 王旭東,葉玉堂. CMOS與CCD圖像傳感器的比較研究和發展趨勢[J].電子設計工程,2010(11):178-181.

[12] 劉翔章.基于寬動態CMOS相機的車道偏離預警技術研究[D].長春:長春理工大學,2013.

[13] 李成勇,王莎,陳成瑞.基于CMOS圖像采集的車道偏移識別系統設計與實現[J].中國測試,2022,48(6): 106-110.

[14] 霍浩宇.基于CMOS的車載高清環視系統的研究與應用[D].天津:天津科技大學,2021.

[15] 孔德可,鐘升,匡乃亮,等.基于CMOS傳感器和FPGA的圖像采集系統設計[J].機械工程與自動化,2020 (3):28-30.

[16] 梁璠.基于CMOS圖像傳感器的高速圖像采集系統設計[D].太原:中北大學,2020.

[17] 王文滔.基于卷積神經網絡的車道線檢測算法研究與實現[D].重慶:西南大學,2022.

[18] Huang A,Moore D,Antone M,et al.Finding Multiple Lanes in Urban Road Networks with Vision and Lidar[J].Autonomous Robots,2009,26(2/3):103- 122.

[19] 宋鳳菲.彩色圖像灰度化及其效果的客觀評價方法研究[D].泉州:華僑大學,2014.

[20] 田俊康.基于深度學習的車道線檢測方法研究[D]. 太原:太原科技大學,2021.

[21] 王先月.基于機器視覺的自動噴涂系統設計[D].青島: 青島大學,2022.

[22] 魏笑.基于圖像處理的車道線識別[D].大連:大連交通大學,2020.

[23] Joshi A,Boyat A K,Joshi B K.Impact of Wavelet Transform and Median Filtering on Removal of Salt and Pepper Noise in Digital Images[C]//Issues and Challenges in Intelligent Computing Techniques (ICICT), Krishna InstEngn & Technol, Ghaziabad.Piscataway: IEEE,2014:838-843.

[24] Qatawneh M,Massad Y,Musaddaq M,et al.A Uniform Noise Median Filter Based on a New Type of Filtering Window[J].International Information Insti- tute (Tokyo).Information,2012,15(2):699.

[25] 熊晶晶,楊雪,蘇靜,等.基于雙邊濾波的織物潤濕區域有效提取[J].上海紡織科技,2021,49(11):41-45.

[26] Kopparapu S.K,Satish M.Identifying Optimal Gaussian Filter for Gaussian Noise Removal[C]//Third IEEE National Conference on NCVPRIPG.Piscata- way:IEEE,2011:126-129.

[27] 王芳佳.基于機器視覺的汽車駕駛疲勞識別方法研究[D].重慶:重慶大學,2021.

[28] 袁春蘭,熊宗龍,周雪花,等.基于Sobel算子的圖像邊緣檢測研究[J].激光與紅外,2009,39(1):85-87.

[29] Canny J.A Computational Approach to Edge Detec- tion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[30] 車暢,蘭文寶.Canny算法和中值濾波法的紅外全景圖像拼接[J].激光雜志,2020,41(5):109-113.

[31] LAAROUSSI S,BAATAOUI A,HALLI A,et al.A Dyn- amic Mosaicking Method for Finding an Optimal Seamline with Canny Edge Detector[J].Procedia Com- puter Science,2019,148:618-626.

[32] 張常彪.復雜環境下的車道線檢測算法研究[D].桂林: 桂林電子科技大學,2018.

[33] 翁佳昊.基于深度學習的車道線檢測方法研究[D]. 揚州:揚州大學,2022.

[34] Ju C G,Wang G D.Human Instance Segmentation[J]. Digital TV and Wireless Multimedia Communication, 2021,1390:41-51.

[35] Lin F,Li B,Zhou W G,et al.Single-stage Instance Segmentation[J].ACM Transactions on Multimedia Computing,Communications, and Applications,2020, 16(3):1-19.

[36] 劉澤凌.基于卷積神經網絡的車道線檢測與車道保持控制研究[D].哈爾濱:哈爾濱工業大學,2021.

[37] Fan C,Song Y P,JIAO Y J.Multi-lane Detection Based on Deep Convolutional Neural Network[J]. IEEE Access,2019,7:50833-150841.

[38] Cao J W,Song C X,Song S X,et al. Lane Detection Algorithm for Intelligent Vehicles in Complex Road Conditions and Dynamic Environments[J].Sensors, 2019,19(14):3166.

[39] Huval B,Wang T,Tandon S,et al.An Empirical Evaluation of Deep Learning on Highway Driving [J]. Computer Science,2015,29(4):691-702.

[40] 景輝.基于卷積神經網絡的全距車道線檢測算法研究[D].北京:北京交通大學,2018.

[41] Tabelini L,Berriel R,Paixao T M,et al.Poly LaneNet:Lane Estimation via Deep Polynomial Regr- ession[J].ArXiv Preprint ArXiv:2021:9412265.

[42] 趙紫霞.基于卷積神經網絡的車道線檢測技術研究[D].北京:北京交通大學,2020.

[43] 袁楓.基于卷積神經網絡的車道線檢測算法研究[D].北京:北京交通大學,2019.

Analysis of Key Technology of Machine Vision for Intelligent Driving Vehicle

FAN Jing1, SHAN Shiyu*2, LIN Xianshan1

( 1.Guangzhou Highway Engineering Group Company Limited, Guangzhou 510730, China;2.School of Energy and Electrical Engineering, Chang'an University, Xi'an 710064, China )

The key technologies of machine vision for intelligent driving vehicle are studied in this paper. Machine vision technology is composed of three parts: image acquisition, image processing and image analysis. Firstly, it introduces the whole procedure of the image acquisition, focuses on the analysis of the characteristics of charge coupled device(CCD) image sensor and complementary metal oxide semiconductor(CMOS) image sensor and their working principles. Furthermore, the application of image acquisition card based on field programmable gate array(FPGA) and digital singnal processor(DSP)has been investigated. Secondly, the key technologies of the image processing, including the region of interest extraction, image gray processing, image filtering denoising and edge detection are studied. Thirdly, in terms of the image analysis technology, the traditional digital image recognition technology and deep learning-based image recognition technology are compared. Combined with the research results of this paper, the future development trend of intelligent driving vehicle machine vision technology is prospected, and the development ideas of artificial intelligence, vehicle networking, vehicle communication system and multi-sensor are expounded.

Machine vision; Image capture; Image processing; Image analysis; Intelligent driving

TP391.4

A

1671-7988(2023)21-173-06

10.16638/j.cnki.1671-7988.2023.021.035

范靖（1976－），男，高級工程師，研究方向為智能駕駛，E-mail:13725272600@139.com。

山世玉（2000－），男，碩士研究生，研究方向為機器視覺，E-mail:shansy129@163.com。

基于計算機視覺的公路養護車輛異常駕駛行為識別與網聯監控預警技術研究（220238220503-GC20-A015- F04）；“新能源汽車”國家重點研發項目科學數據分析與共享方案研究（211938220518）。