智能駕駛汽車機(jī)器視覺(jué)關(guān)鍵技術(shù)分析

范 靖，山世玉，林先山

智能駕駛汽車機(jī)器視覺(jué)關(guān)鍵技術(shù)分析

范 靖1，山世玉*2，林先山1

（1.廣州公路工程集團(tuán)有限公司，廣東 廣州 510730；2.長(zhǎng)安大學(xué) 能源與電氣工程學(xué)院，陜西 西安 710064）

文章對(duì)智能駕駛汽車機(jī)器視覺(jué)關(guān)鍵技術(shù)中的圖像采集、圖像處理和圖像分析三個(gè)部分進(jìn)行研究。在圖像采集技術(shù)中，重點(diǎn)研究帶電耦合器件（CCD）圖像傳感器和互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）圖像傳感器的特點(diǎn)及其工作原理，并分別介紹基于現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）和數(shù)字信號(hào)處理機(jī)（DSP）的圖像采集卡的工作特點(diǎn)及適用環(huán)境。在圖像處理技術(shù)中，對(duì)感興趣區(qū)域提取、圖像灰度化處理、圖像濾波去噪和邊緣檢測(cè)等環(huán)節(jié)進(jìn)行研究。在圖像分析技術(shù)中，重點(diǎn)對(duì)比傳統(tǒng)的數(shù)字圖像識(shí)別技術(shù)和基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)。結(jié)合對(duì)三個(gè)部分工作原理與特點(diǎn)的研究，對(duì)智能駕駛汽車機(jī)器視覺(jué)技術(shù)未來(lái)的發(fā)展趨勢(shì)進(jìn)行展望，提出人工智能化、車聯(lián)網(wǎng)、車輛通信系統(tǒng)和多傳感器化等發(fā)展構(gòu)想。

機(jī)器視覺(jué)；圖像采集；圖像處理；圖像分析；智能駕駛

據(jù)《2022中國(guó)統(tǒng)計(jì)年鑒》上有關(guān)數(shù)據(jù)顯示[1]，2021年中國(guó)個(gè)人汽車保有量達(dá)26 152.02萬(wàn)輛。隨著機(jī)動(dòng)車數(shù)量的不斷增長(zhǎng)，交通事故頻發(fā)。根據(jù)數(shù)據(jù)統(tǒng)計(jì)[2]，全球每年共有135萬(wàn)人因交通事故失去生命。為了減少交通事故的發(fā)生，智能駕駛汽車應(yīng)運(yùn)而生。智能駕駛汽車依靠搭載的各類傳感器、控制器、執(zhí)行器和通訊模塊等設(shè)備，完成對(duì)汽車的輔助操控，并具備對(duì)突發(fā)狀況的應(yīng)急處理能力以及預(yù)測(cè)道路未知信息的能力[3]。智能駕駛汽車相關(guān)的技術(shù)主要包括：感知技術(shù)、決策技術(shù)、路徑規(guī)劃和跟蹤控制技術(shù)等[4]。機(jī)器視覺(jué)技術(shù)是感知技術(shù)的一部分，通過(guò)機(jī)器視覺(jué)技術(shù)與多傳感器融合的感知方案，使得系統(tǒng)可靠性大大提高[5]。

本文對(duì)智能駕駛汽車機(jī)器視覺(jué)技術(shù)的三個(gè)組成部分進(jìn)行研究。對(duì)于圖像采集技術(shù)，主要研究其核心原件圖像傳感器的種類和工作原理；對(duì)于圖像處理技術(shù)，主要研究感興趣區(qū)域提取、灰度化處理、濾波去噪和邊緣檢測(cè)等技術(shù)的特點(diǎn)；對(duì)于圖像分析技術(shù)，主要研究傳統(tǒng)的數(shù)字圖像識(shí)別技術(shù)和基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)等兩種技術(shù)的特點(diǎn)和關(guān)鍵環(huán)節(jié)。在此基礎(chǔ)上，結(jié)合車聯(lián)網(wǎng)、多傳感器化和車輛通信系統(tǒng)等技術(shù)，對(duì)機(jī)器視覺(jué)在智能駕駛汽車領(lǐng)域的應(yīng)用進(jìn)行了展望和討論。

1 圖像采集技術(shù)

圖像采集技術(shù)主要通過(guò)數(shù)字?jǐn)z像頭拍攝目標(biāo)物體，之后利用光電器件將獲得的光信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，再經(jīng)移動(dòng)產(chǎn)業(yè)處理器傳至下一部分，由控制模塊對(duì)數(shù)字信號(hào)做初步優(yōu)化處理，最后經(jīng)過(guò)安全數(shù)字輸入輸出接口存入存儲(chǔ)卡（Trans Flash, TF）中。

圖像傳感器主要有攝像頭傳感器和光電傳感器兩種，相較于光電傳感器，攝像頭傳感器具有前瞻遠(yuǎn)度高、獲取信息量多以及方便圖像后期處理等優(yōu)點(diǎn)，因此得到廣泛應(yīng)用。常用的攝像頭傳感器有帶電耦合器件（Charge Coupled Device, CCD）和互補(bǔ)金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductor, CMOS）。CCD相機(jī)將一定數(shù)量的CCD排成陣列[6-7]，例如512×480和 1 024×768，這被稱為解析度，標(biāo)志著成像的清晰程度高低。在上個(gè)世紀(jì)九十年代，我國(guó)就有研究學(xué)者將CCD相機(jī)應(yīng)用于汽車的前照燈強(qiáng)度測(cè)量上[8]。進(jìn)入新世紀(jì)后，CCD相機(jī)在汽車上的應(yīng)用發(fā)展迅猛，將CCD相機(jī)獲取的圖像導(dǎo)入到計(jì)算機(jī)中，采用不同圖像處理方法對(duì)圖像進(jìn)行分析，從而判斷汽車前照燈是否符合標(biāo)準(zhǔn)[9]。隨著深入研究，應(yīng)用CCD相機(jī)對(duì)車燈在路面上的發(fā)光狀況進(jìn)行檢測(cè)[10]，從而可以衡量車燈的性能優(yōu)劣。

近些年來(lái)，伴隨著半導(dǎo)體材料的發(fā)展和革新， CMOS相機(jī)也獲得了非常大的進(jìn)步，與CCD相機(jī)不同，CMOS集成在金屬氧化物的半導(dǎo)體材料上[11]。CMOS材料在制造過(guò)程中技術(shù)難度低，擁有更為低廉的成本，并且具有高集成、低功耗和抗輻射等優(yōu)點(diǎn)，在智能輔助駕駛領(lǐng)域得到廣泛的應(yīng)用。通過(guò)設(shè)計(jì)基于CMOS相機(jī)的車道偏離和預(yù)警裝置[12-13]，能夠?qū)︸{駛員在駕駛過(guò)程中無(wú)意識(shí)偏離車道做出檢測(cè)和報(bào)警功能。應(yīng)用CMOS相機(jī)的車載高清環(huán)視系統(tǒng)將布置在汽車周身的攝像模組采集到的圖像拼接到一起，從而獲得汽車周圍的信息，幫助駕駛員通過(guò)汽車的全景俯視圖[14]，來(lái)判斷是否有障礙物影響或障礙物的位置距離等信息。

圖像在采集之后的傳輸環(huán)節(jié)中，會(huì)出現(xiàn)反復(fù)讀寫(xiě)的情況，依靠性能良好的圖像采集卡可以解決這一問(wèn)題。目前廣泛使用的有基于現(xiàn)場(chǎng)可編程門(mén)陣列（Field Programmable Gate Array, FPGA）的圖像采集卡和基于數(shù)字信號(hào)處理機(jī)（Digital Singnal Processor, DSP）的圖像采集卡。基于FPGA的圖像采集卡具備內(nèi)部存儲(chǔ)豐富和處理速度快捷的優(yōu)點(diǎn)，可以提高圖像采集傳輸速度，優(yōu)化圖像質(zhì)量[15]。基于DSP的圖像采集卡有著較快的處理速度，但時(shí)序控制能力弱[16]，更加適合于偏向圖像處理的圖像采集系統(tǒng)。同時(shí)以DSP為核心的圖像采集系統(tǒng)可以同時(shí)執(zhí)行多個(gè)操作，具備更低的制造成本和更小的能耗。

2 圖像處理技術(shù)

圖像處理技術(shù)是機(jī)器視覺(jué)技術(shù)的核心所在，依靠硬件設(shè)備和軟件算法的相互配合，對(duì)圖像進(jìn)行分割和噪聲濾除，完成數(shù)據(jù)處理。圖像處理技術(shù)主要有感興趣區(qū)域劃分、圖像灰度化、圖像濾波和邊緣檢測(cè)等幾個(gè)步驟，本文將以車道線檢測(cè)為例，詳細(xì)說(shuō)明各個(gè)步驟工作原理。

2.1 感興趣區(qū)域

在車道線檢測(cè)過(guò)程中，采集的圖像包含有很多與車道線無(wú)關(guān)的信息，為了減少不必要的計(jì)算量，需要進(jìn)行圖像感興趣區(qū)域提取（Region Of Interest, ROI）。由于在實(shí)際行駛過(guò)程中，拍攝到的圖片上半部分為天空和道路兩旁建筑等無(wú)關(guān)信息，所以在圖像處理過(guò)程中，可以將此部分圖像信息舍棄，僅對(duì)含有道路信息的圖像下半部分進(jìn)行分析，如圖1所示[17]，經(jīng)ROI提取之后，將圖像的下半部分作為感興趣區(qū)域，并確定ROI邊界[18]。

圖1 ROI提取

2.2 圖像灰度化

數(shù)字?jǐn)z像機(jī)拍攝到的圖片均為RGB（Red, Green, Blue）三通道彩色圖像[19]，雖然信息量豐富，但由于其色彩繁多，在圖像處理時(shí)，計(jì)算過(guò)程復(fù)雜，影響工作效率。因此，可將RGB圖像做灰度化處理，將三通道圖像轉(zhuǎn)變?yōu)閱瓮ǖ赖幕疑珗D像，如圖2和圖3所示[20]。

圖2 原始圖像

圖3 圖像灰度化處理

圖像灰度化處理有四種方法，分別是平均值法、分量法、最大值法和加權(quán)平均法[21-22]。平均值法是對(duì)于三個(gè)通道數(shù)值做平均化處理，分量法則是任意取三個(gè)通道數(shù)值中的一個(gè)值作為灰度化處理的通道數(shù)值，最大值法是取三個(gè)通道數(shù)值中的最大數(shù)值作為實(shí)際處理的通道數(shù)值，加權(quán)平均法對(duì)三個(gè)通道數(shù)值進(jìn)行加權(quán)平均處理，既符合人眼對(duì)色彩的敏感程度，也能夠突出被識(shí)別對(duì)象特征[21-22]。每種方法特點(diǎn)如表1所示。

表1 四種圖像灰度化處理方法效果對(duì)比

2.3 圖像濾波

車輛在行駛過(guò)程中，由于實(shí)際路況因素，在收集的圖像中會(huì)存在噪聲等現(xiàn)象，影響圖像處理的精度，可以通過(guò)圖像濾波解決這一問(wèn)題。目前常用的濾波方法有均值濾波、中值濾波、雙邊濾波和高斯濾波。

均值濾波[23]的原理是對(duì)圖像進(jìn)行像素化處理，將全部像素加權(quán)平均，然后覆蓋原有像素。中值濾波[24]屬于非線性濾波，其原理是選擇圖像中某一像素，確定鄰域范圍，將此鄰域范圍內(nèi)的所有像素從小到大排序，取其中間值，替換掉原有中心像素值。雙邊濾波[25]也是一種非線性濾波方法，在對(duì)圖像邊緣區(qū)域的像素進(jìn)行濾波時(shí)，離邊緣較遠(yuǎn)的像素值不會(huì)對(duì)邊緣的像素值產(chǎn)生很大的影響，從而可以使圖像邊緣比較清晰。高斯濾波[26-27]是一種線性濾波，原理是用高斯卷積核對(duì)整個(gè)圖像的像素值進(jìn)行加權(quán)平均，把卷積核所對(duì)應(yīng)的位置和其所覆蓋到的地方相乘，然后做加法，從而獲得中心區(qū)域的像素值。高斯卷積核的大小通常是3×3、5×5和7×7的矩陣。

2.4 邊緣檢測(cè)

圖像濾波去噪之后，需要對(duì)圖像中物體特征進(jìn)行增強(qiáng)，這就要應(yīng)用邊緣檢測(cè)和邊緣增強(qiáng)等處理方法。常用的邊緣檢測(cè)有Sobel算法[28]和Canny算法[29]。Soble算法采用的Soble算子，是離散的一階差分算子，這種算子在處理圖像像素點(diǎn)時(shí)能夠獲得對(duì)應(yīng)像素點(diǎn)梯度，或者其法向量的矢量。根據(jù)每個(gè)像素的位置對(duì)圖像的影響程度不同，Sobel算子對(duì)此情況進(jìn)行加權(quán)處理，使得檢測(cè)出的邊緣清晰度有明顯提高。Soble算子的形式是濾波算子，能夠非常快速地提取邊緣，但是Sobel算法對(duì)于噪聲梯度變化的適應(yīng)性不夠充足，對(duì)噪聲比較敏感，容易造成特征的丟失。

Canny算法在近些年的研究中得到廣泛的認(rèn)可，通過(guò)設(shè)置雙閾值，可以消除特征的丟失，增強(qiáng)表現(xiàn)圖像的輪廓。輸入的圖像由小波分解后形成高頻和低頻兩部分，先對(duì)高頻部分設(shè)置閾值去噪。然后，將處理過(guò)的高頻部分和低頻部分重構(gòu)，得到高頻去噪圖，再對(duì)其中低頻信號(hào)做相應(yīng)的閾值去噪，最后進(jìn)行小波逆變換處理。Canny算法在實(shí)際應(yīng)用過(guò)程中可以精準(zhǔn)的提取圖像邊緣，同時(shí)不受噪聲的影響[30]，且能夠識(shí)別圖像中的弱邊緣和強(qiáng)邊緣[31]。圖4為Canny邊緣檢測(cè)操作后的顯示圖像[20]。

圖4 Canny邊緣檢測(cè)后圖像

3 圖像分析技術(shù)

圖像分析技術(shù)是利用數(shù)學(xué)模型對(duì)經(jīng)過(guò)處理后的圖像提取相關(guān)的應(yīng)用特征，從而獲得圖像的信息。在機(jī)器視覺(jué)技術(shù)發(fā)展前期，主要依靠傳統(tǒng)的圖像分析技術(shù)，但是傳統(tǒng)的圖像分析技術(shù)容易受到其他因素影響，魯棒性較差[32]。伴隨著半導(dǎo)體芯片技術(shù)的發(fā)展和計(jì)算機(jī)算法的發(fā)展，基于深度學(xué)習(xí)的圖像分析技術(shù)逐漸取代傳統(tǒng)的圖像分析技術(shù)，成為主流應(yīng)用的圖像分析技術(shù)[33]。基于深度學(xué)習(xí)的圖像分析技術(shù)有基于卷積神經(jīng)網(wǎng)絡(luò)和基于語(yǔ)義分割等多種方法[34-35]，能夠滿足大量圖片的分析要求，并且魯棒性較好，但是該技術(shù)對(duì)于算法的要求比較高。

3.1 傳統(tǒng)的圖像識(shí)別技術(shù)

在車道線檢測(cè)過(guò)程中，需對(duì)圖像的特征信息進(jìn)行提取，對(duì)采集到的車道線進(jìn)行擬合。通過(guò)圖像識(shí)別分割之后，得到的車道線像素點(diǎn)比較集中，容易造成車道線的缺失。通過(guò)逆透視變換可以獲得車道線的鳥(niǎo)瞰圖，在鳥(niǎo)瞰圖中車道線近乎于平行分布，使得效果更為直觀，不容易造成像素點(diǎn)的丟失，便于后面車道線的擬合。圖5和圖6分別為原始車道線效果圖和經(jīng)過(guò)逆透視變換操作后的效果圖[36]。經(jīng)逆透視變換后，利用最小二乘法[37-38]擬合車道線。

圖5 原始車道線效果圖

圖6 逆透視變換效果圖

3.2 基于深度學(xué)習(xí)的圖像識(shí)別

目前應(yīng)用最為廣泛的是基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）的圖像識(shí)別方法[39]。CNN有卷積層、激活層、池化層和全連接層等4部分組成，其中，最為關(guān)鍵的是卷積層。不同的卷積核負(fù)責(zé)不同的圖像特征[40]，分別對(duì)應(yīng)紋理、邊緣、顏色等多種圖像特征，并且可以采用多項(xiàng)式擬合的方法對(duì)車道線進(jìn)行預(yù)測(cè)[41]。圖7為卷積層計(jì)算過(guò)程圖[42]，假設(shè)輸入圖像為一個(gè)5×5的二維矩陣[43]，其對(duì)應(yīng)的卷積核為一個(gè)3×3的二維矩陣。卷積的操作過(guò)程從輸入數(shù)據(jù)的左上角開(kāi)始，以卷積步長(zhǎng)按照先上后下，先左后右依次后移，當(dāng)卷積核位于輸入數(shù)據(jù)的左上角即圖7左端紅色區(qū)域時(shí)，計(jì)算結(jié)果為1×1+2×0+3×1+6×0+ 7×1+9×1+8×0+7×1=27。

圖7 卷積層計(jì)算過(guò)程

4 智能駕駛汽車機(jī)器視覺(jué)技術(shù)展望

伴隨著人工智能技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，智能駕駛汽車與信息通信技術(shù)加速融合發(fā)展，電動(dòng)化、網(wǎng)聯(lián)化和智能化成為智能駕駛汽車的新特點(diǎn)。智能駕駛汽車和互聯(lián)網(wǎng)大數(shù)據(jù)的融合成為發(fā)展趨勢(shì)，并且伴隨著計(jì)算機(jī)算法的推陳出新和智能硬件芯片的應(yīng)用，今后智能駕駛技術(shù)會(huì)逐步向儲(chǔ)能單元、移動(dòng)智能終端和數(shù)字空間方向拓展。

4.1 人工智能化

隨著算法的不斷改良和硬件設(shè)施的發(fā)展進(jìn)步，結(jié)合機(jī)器視覺(jué)技術(shù)與人工智能技術(shù)的融合發(fā)展，未來(lái)智能駕駛汽車不僅僅依靠機(jī)器視覺(jué)技術(shù)來(lái)構(gòu)造輔助駕駛系統(tǒng)，更會(huì)實(shí)現(xiàn)各種復(fù)雜路況的無(wú)人駕駛，形成以人工智能為基礎(chǔ)的智能駕駛汽車技術(shù)。以硬件設(shè)備更新為主，配合算法的設(shè)計(jì)和改良，未來(lái)智能駕駛汽車的計(jì)算處理能力和存儲(chǔ)能力將大大提高，能在各種復(fù)雜場(chǎng)景下完成合理判斷，提高駕駛的安全性。

4.2 車聯(lián)網(wǎng)

隨著5G等互聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，機(jī)器視覺(jué)技術(shù)與車聯(lián)網(wǎng)技術(shù)相互配合，輔助以大數(shù)據(jù)計(jì)算中心，將收集到的數(shù)據(jù)匯總，結(jié)合對(duì)交通設(shè)施數(shù)據(jù)的收集，可以對(duì)道路擁堵情況做出判斷，將判斷后的指令傳輸?shù)街悄荞{駛汽車，可以有效緩解汽車擁堵情況。結(jié)合汽車本身內(nèi)部各類傳感器，可以幫助智能汽車尋找就近的加油站或充電樁，也可以精準(zhǔn)進(jìn)行故障診斷，并及時(shí)給出預(yù)警。

4.3 車輛通信系統(tǒng)

機(jī)器視覺(jué)技術(shù)與車輛通信系統(tǒng)的配合同樣是智能駕駛汽車未來(lái)的發(fā)展趨勢(shì)之一。裝載車輛通信系統(tǒng)的智能汽車，可以實(shí)現(xiàn)對(duì)于駕駛員駕駛行為的實(shí)時(shí)評(píng)估和監(jiān)控，提供車輛實(shí)時(shí)的安全信息和車輛行駛的時(shí)間地點(diǎn)信息，配合以機(jī)器視覺(jué)技術(shù)對(duì)于車輛行駛過(guò)程中道路情況的反饋，可以有效地避免交通事故的發(fā)生，提高道路行駛的安全性。

4.4 多傳感器化

隨著數(shù)字?jǐn)z影機(jī)、圖像處理卡等設(shè)備的發(fā)展，機(jī)器視覺(jué)技術(shù)未來(lái)可以實(shí)現(xiàn)多種功能協(xié)同運(yùn)轉(zhuǎn)，例如機(jī)器視覺(jué)技術(shù)與各類傳感器相配合，解決單一設(shè)備在實(shí)際使用過(guò)程中的局限性，在光照條件不好不適合圖像技術(shù)的運(yùn)用時(shí)，可以借助雷達(dá)和傳感器對(duì)圖像技術(shù)進(jìn)行補(bǔ)充，而在復(fù)雜路況下對(duì)于傳感器干擾因素比較多時(shí)，可以通過(guò)圖像為主的提取方法提取道路信息，取長(zhǎng)補(bǔ)短，發(fā)揮各項(xiàng)技術(shù)的長(zhǎng)處。

5 結(jié)論

本文研究了機(jī)器視覺(jué)技術(shù)在智能駕駛汽車領(lǐng)域的發(fā)展現(xiàn)狀，對(duì)智能駕駛汽車機(jī)器視覺(jué)技術(shù)中圖像采集、圖像處理和圖像分析技術(shù)進(jìn)行了研究。首先介紹了圖像傳感器的種類和工作原理，其次對(duì)圖像處理技術(shù)中的感興趣區(qū)域提取、灰度化處理、濾波去噪和邊緣檢測(cè)等技術(shù)環(huán)節(jié)進(jìn)行了介紹，然后分別介紹了傳統(tǒng)的數(shù)字圖像識(shí)別技術(shù)和基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)的特點(diǎn)，最后結(jié)合人工智能、車聯(lián)網(wǎng)、多傳感器化和車輛通信系統(tǒng)等技術(shù)對(duì)未來(lái)機(jī)器視覺(jué)技術(shù)在智能駕駛汽車領(lǐng)域的發(fā)展提出了展望。

[1] 中華人民共和國(guó)國(guó)家統(tǒng)計(jì)局.2022年中國(guó)統(tǒng)計(jì)年鑒. [EB/OL].(2022-01-01)[2023-03-06].http://www.stats. gov.cn/sj/ndsj/2022/indexch.htm.

[2] 張翔,唐小林,黃巖軍.道路結(jié)構(gòu)特征下的車道線智能檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào),2021,26(1):123-134.

[3] 楊濤.智能駕駛車輛跟蹤控制方法設(shè)計(jì)與試驗(yàn)[D]. 合肥:安徽農(nóng)業(yè)大學(xué),2022.

[4] 王金強(qiáng),黃航,郅朋,等.自動(dòng)駕駛發(fā)展與關(guān)鍵技術(shù)綜述[J].電子技術(shù)應(yīng)用,2019,45(6):28-36.

[5] 劉金橋,吳金強(qiáng).機(jī)器視覺(jué)系統(tǒng)發(fā)展及其應(yīng)用[J].機(jī)械工程與自動(dòng)化,2010(1):215-216.

[6] 朱飛虎.機(jī)器視覺(jué)原理及應(yīng)用[J].自動(dòng)化博覽,2005 (2):81-83.

[7] 王海霞,李凱勇,陳佳舟.基于機(jī)器學(xué)習(xí)的高速線陣CCD圖像數(shù)據(jù)采集系統(tǒng)[J].現(xiàn)代電子技術(shù),2022, 45(10):160-164.

[8] 李策.基于計(jì)算機(jī)視覺(jué)的汽車車燈檢測(cè)技術(shù)研究[D].北京:北京化工大學(xué),2021.

[9] 張勇.基于圖像處理的汽車前照燈檢測(cè)系統(tǒng)的研究[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2009.

[10] EKRIAS A,ELOHOLMA M,HALONEN L,et al.Road Lighting and Headlights:Luminance Measurements and Automobile Lighting Simulations[J].Building & Environment,2008,43(4):530-536.

[11] 王旭東,葉玉堂. CMOS與CCD圖像傳感器的比較研究和發(fā)展趨勢(shì)[J].電子設(shè)計(jì)工程,2010(11):178-181.

[12] 劉翔章.基于寬動(dòng)態(tài)CMOS相機(jī)的車道偏離預(yù)警技術(shù)研究[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2013.

[13] 李成勇,王莎,陳成瑞.基于CMOS圖像采集的車道偏移識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)測(cè)試,2022,48(6): 106-110.

[14] 霍浩宇.基于CMOS的車載高清環(huán)視系統(tǒng)的研究與應(yīng)用[D].天津:天津科技大學(xué),2021.

[15] 孔德可,鐘升,匡乃亮,等.基于CMOS傳感器和FPGA的圖像采集系統(tǒng)設(shè)計(jì)[J].機(jī)械工程與自動(dòng)化,2020 (3):28-30.

[16] 梁璠.基于CMOS圖像傳感器的高速圖像采集系統(tǒng)設(shè)計(jì)[D].太原:中北大學(xué),2020.

[17] 王文滔.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測(cè)算法研究與實(shí)現(xiàn)[D].重慶:西南大學(xué),2022.

[18] Huang A,Moore D,Antone M,et al.Finding Multiple Lanes in Urban Road Networks with Vision and Lidar[J].Autonomous Robots,2009,26(2/3):103- 122.

[19] 宋鳳菲.彩色圖像灰度化及其效果的客觀評(píng)價(jià)方法研究[D].泉州:華僑大學(xué),2014.

[20] 田俊康.基于深度學(xué)習(xí)的車道線檢測(cè)方法研究[D]. 太原:太原科技大學(xué),2021.

[21] 王先月.基于機(jī)器視覺(jué)的自動(dòng)噴涂系統(tǒng)設(shè)計(jì)[D].青島: 青島大學(xué),2022.

[22] 魏笑.基于圖像處理的車道線識(shí)別[D].大連:大連交通大學(xué),2020.

[23] Joshi A,Boyat A K,Joshi B K.Impact of Wavelet Transform and Median Filtering on Removal of Salt and Pepper Noise in Digital Images[C]//Issues and Challenges in Intelligent Computing Techniques (ICICT), Krishna InstEngn & Technol, Ghaziabad.Piscataway: IEEE,2014:838-843.

[24] Qatawneh M,Massad Y,Musaddaq M,et al.A Uniform Noise Median Filter Based on a New Type of Filtering Window[J].International Information Insti- tute (Tokyo).Information,2012,15(2):699.

[25] 熊晶晶,楊雪,蘇靜,等.基于雙邊濾波的織物潤(rùn)濕區(qū)域有效提取[J].上海紡織科技,2021,49(11):41-45.

[26] Kopparapu S.K,Satish M.Identifying Optimal Gaussian Filter for Gaussian Noise Removal[C]//Third IEEE National Conference on NCVPRIPG.Piscata- way:IEEE,2011:126-129.

[27] 王芳佳.基于機(jī)器視覺(jué)的汽車駕駛疲勞識(shí)別方法研究[D].重慶:重慶大學(xué),2021.

[28] 袁春蘭,熊宗龍,周雪花,等.基于Sobel算子的圖像邊緣檢測(cè)研究[J].激光與紅外,2009,39(1):85-87.

[29] Canny J.A Computational Approach to Edge Detec- tion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[30] 車暢,蘭文寶.Canny算法和中值濾波法的紅外全景圖像拼接[J].激光雜志,2020,41(5):109-113.

[31] LAAROUSSI S,BAATAOUI A,HALLI A,et al.A Dyn- amic Mosaicking Method for Finding an Optimal Seamline with Canny Edge Detector[J].Procedia Com- puter Science,2019,148:618-626.

[32] 張常彪.復(fù)雜環(huán)境下的車道線檢測(cè)算法研究[D].桂林: 桂林電子科技大學(xué),2018.

[33] 翁佳昊.基于深度學(xué)習(xí)的車道線檢測(cè)方法研究[D]. 揚(yáng)州:揚(yáng)州大學(xué),2022.

[34] Ju C G,Wang G D.Human Instance Segmentation[J]. Digital TV and Wireless Multimedia Communication, 2021,1390:41-51.

[35] Lin F,Li B,Zhou W G,et al.Single-stage Instance Segmentation[J].ACM Transactions on Multimedia Computing,Communications, and Applications,2020, 16(3):1-19.

[36] 劉澤凌.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測(cè)與車道保持控制研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2021.

[37] Fan C,Song Y P,JIAO Y J.Multi-lane Detection Based on Deep Convolutional Neural Network[J]. IEEE Access,2019,7:50833-150841.

[38] Cao J W,Song C X,Song S X,et al. Lane Detection Algorithm for Intelligent Vehicles in Complex Road Conditions and Dynamic Environments[J].Sensors, 2019,19(14):3166.

[39] Huval B,Wang T,Tandon S,et al.An Empirical Evaluation of Deep Learning on Highway Driving [J]. Computer Science,2015,29(4):691-702.

[40] 景輝.基于卷積神經(jīng)網(wǎng)絡(luò)的全距車道線檢測(cè)算法研究[D].北京:北京交通大學(xué),2018.

[41] Tabelini L,Berriel R,Paixao T M,et al.Poly LaneNet:Lane Estimation via Deep Polynomial Regr- ession[J].ArXiv Preprint ArXiv:2021:9412265.

[42] 趙紫霞.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測(cè)技術(shù)研究[D].北京:北京交通大學(xué),2020.

[43] 袁楓.基于卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測(cè)算法研究[D].北京:北京交通大學(xué),2019.

Analysis of Key Technology of Machine Vision for Intelligent Driving Vehicle

FAN Jing1, SHAN Shiyu*2, LIN Xianshan1

( 1.Guangzhou Highway Engineering Group Company Limited, Guangzhou 510730, China;2.School of Energy and Electrical Engineering, Chang'an University, Xi'an 710064, China )

The key technologies of machine vision for intelligent driving vehicle are studied in this paper. Machine vision technology is composed of three parts: image acquisition, image processing and image analysis. Firstly, it introduces the whole procedure of the image acquisition, focuses on the analysis of the characteristics of charge coupled device(CCD) image sensor and complementary metal oxide semiconductor(CMOS) image sensor and their working principles. Furthermore, the application of image acquisition card based on field programmable gate array(FPGA) and digital singnal processor(DSP)has been investigated. Secondly, the key technologies of the image processing, including the region of interest extraction, image gray processing, image filtering denoising and edge detection are studied. Thirdly, in terms of the image analysis technology, the traditional digital image recognition technology and deep learning-based image recognition technology are compared. Combined with the research results of this paper, the future development trend of intelligent driving vehicle machine vision technology is prospected, and the development ideas of artificial intelligence, vehicle networking, vehicle communication system and multi-sensor are expounded.

Machine vision; Image capture; Image processing; Image analysis; Intelligent driving

TP391.4

A

1671-7988(2023)21-173-06

10.16638/j.cnki.1671-7988.2023.021.035

范靖（1976－），男，高級(jí)工程師，研究方向?yàn)橹悄荞{駛，E-mail:13725272600@139.com。

山世玉（2000－），男，碩士研究生，研究方向?yàn)闄C(jī)器視覺(jué)，E-mail:shansy129@163.com。

基于計(jì)算機(jī)視覺(jué)的公路養(yǎng)護(hù)車輛異常駕駛行為識(shí)別與網(wǎng)聯(lián)監(jiān)控預(yù)警技術(shù)研究（220238220503-GC20-A015- F04）；“新能源汽車”國(guó)家重點(diǎn)研發(fā)項(xiàng)目科學(xué)數(shù)據(jù)分析與共享方案研究（211938220518）。