基于深度學習的前車視覺測距研究

毛旭偉

基于深度學習的前車視覺測距研究

毛旭偉

（長安大學 汽車學院，陜西 西安 710064）

針對測量前方車輛縱向距離的問題，文章提出一種基于深度學習的前方車輛檢測和視覺測距方法。該方法首先通過YOLOv3算法實現(xiàn)車牌位置檢測并利用OpenCV進行剪裁，接著計算前車車牌字符區(qū)域在相機成像區(qū)域所占像素長度，最后利用小孔成像原理對前方車輛的縱向距離進行測量。試驗表明：在50米范圍內(nèi)，該方法最大誤差在8%以內(nèi)，平均誤差約為3.077%，可為前車測距提供一種新的思路，在智能車輛感知方面有一定的應用前景。

車輛測距；深度學習；車牌檢測；小孔成像

引言

隨著我國經(jīng)濟的快速增長，自動駕駛車輛不斷發(fā)展，人們對汽車的智能化要求越來越高，因此，近年來計算機視覺作為一種環(huán)境感知的手段應用于車輛輔助駕駛系統(tǒng)上一直是很熱門的研究方向之一，利用計算機視覺測量駕駛場景下前方車輛距離的方法，可以為車輛碰撞預警或車輛安全狀態(tài)評估提供基礎。

基于視覺的測距方法通常有單目視覺測距和多目視覺測距兩種方式。近年來，因計算機技術的快速發(fā)展與各種電子設備和電子技術的普及，基于單目視覺系統(tǒng)的測距方法因成本低，實時性好，結構簡單，占用計算資源較少等優(yōu)點逐漸走進人們的視野中。文獻[1]基于前車尾部車牌特征，結合車輛視覺測距的幾何模型，根據(jù)車牌尺寸的先驗知識，實現(xiàn)了前車測距；文獻[2]利用車輛下邊沿估計模型和相機逆透視變換模型，實現(xiàn)了前車縱向距離和橫向距離的精確測量。本文通過YOLOv3深度學習檢測算法實現(xiàn)前車尾部車牌位置檢測，再經(jīng)過圖像分割并計算車牌成像像素的長度信息，利用小孔成像原理模型，實現(xiàn)對前方車輛的距離測算。此方法適應性好，成本較低且結構簡單，所占用的計算資源較少。

1 車牌檢測與處理

目前，基于深度學習卷積神經(jīng)網(wǎng)絡的目標檢測算法主要分為兩類，一類是基于候選區(qū)域的目標檢測算法（即二階段目標檢測器），主要代表有R-CNN、SPP-net[3]、Fast R-CNN、Faster R-CNN[4]等系列方法。而另一類是以本文中所用算法為例的YOLO[5-7]（You Only Look Once）系列和SSD[8]等方法（即單階段目標檢測器），這類算法省略了生成候選區(qū)域的過程，將目標檢測過程簡化成一種端到端的回歸問題，所以單階段目標檢測算法比二階段目標檢測算法的檢測速度快，但檢測精度較為不足；而YOLOv3目標檢測算法，在保證檢測速度的同時，檢測精度也有了較高的提升，這是本文采用YOLOv3算法實現(xiàn)車牌位置檢測的原因。

1.1 YOLOv3模型訓練

表1 訓練環(huán)境

配置環(huán)境版本 Windows10 CUDA10.1 CUDNN7.6.5 Visual Studio2017

圖1 YOLOv3識別效果圖

本文中數(shù)據(jù)集圖片的采集是在不同天氣、不同場景下實地拍攝完成的，共采集1 100幅圖片，將其作為數(shù)據(jù)集并按照10：1的比例劃分為訓練集和測試集。訓練集圖片標注工具為LabelImg。YOLOv3模型訓練環(huán)境如表1所示。由于數(shù)據(jù)集圖片數(shù)據(jù)較少，1 000張訓練集圖片在網(wǎng)絡達到4 300次迭代次數(shù)時，損失函數(shù)值便不再下降；網(wǎng)絡訓練情況在測試集上的識別結果如圖1所示，圖中車牌識別置信度得分為98%。

1.2 車牌圖片剪裁及處理

1.2.1圖片剪裁

車牌圖片剪裁通過OpenCV（Open Source Computer Vision Library）完成；根據(jù)1.1中模型訓練后的識別結果可以確定車牌在圖片上頂點坐標以及長度和寬度，利用車牌位置信息直接剪裁車牌圖片，效果如圖2所示，圖中在較遠處車牌圖片拍攝較為模糊。

圖2 OpenCV剪裁效果圖

1.2.2圖片預處理

車牌長度雖然固定，但它的邊緣信息提取較為困難，若直接使用YOLOv3檢測后的車牌圖片像素信息作為后續(xù)測距模型的輸入，不僅會增大測距誤差，同時誤差變動也會較大；而車牌字符與車牌底色在形態(tài)和顏色上都有較大區(qū)別，較為容易區(qū)分，且第一個字符的前邊緣到最后一個字符的后邊緣長度也是固定的，所以實際測距模型的輸入采用車牌字符之間的像素長度信息。

本節(jié)的目的就是精確得到車牌字符區(qū)域橫向長度上的像素信息，使車牌信息數(shù)值化，方便后續(xù)測距模型的輸入。經(jīng)過YOLOv3檢測后雖能較好地檢測到車牌的位置，但依然存在多余的邊緣信息干擾，并不能直接作為后續(xù)小孔成像模型測距的輸入，為減少誤差，精確計算車牌字符區(qū)域長度信息，需要對剪裁后的車牌圖片進行處理，以去除車牌檢測中的冗余部分。首先，將車牌彩色圖片灰度化，利用Canny算子進行邊緣檢測；接著對邊緣化的圖像進行腐蝕操作，去除車牌圖片的邊緣信息干擾；隨后做填充處理和形態(tài)濾波操作，移除填充圖像中面積較小的部分，將腐蝕后圖片中殘余的信息干擾進一步清除，達到二次降噪的作用；最后對車牌字符區(qū)域進行精確剪裁，即剪裁掉字符之外區(qū)域部分。具體處理效果如圖3所示。精確剪裁后的車牌圖片為二值化圖像，計算二值化圖片的列數(shù)可得到車牌圖片在相機成像區(qū)所占像素長度，以此作為后續(xù)測距模型的輸入像素值。

圖3 車牌圖片處理

2 小孔成像原理測距模型

在同種均勻介質(zhì)中且不受引力作用干擾的情況下，光線是沿著直線傳播的；在物體與墻體之間插入一個帶有小孔的遮擋板，則在墻體上便會呈現(xiàn)一幅倒立的、相似的物體圖片，這便是小孔成像原理。照相機便是在依據(jù)此原理誕生的，相機的鏡頭相當于小孔，將墻體替換成感光元件，從而實現(xiàn)光信號和電信號的轉(zhuǎn)換，相機在拍照時，物體會在相機的感光器件上呈現(xiàn)相似且成一定比例的物體圖像，而這個比例與相機焦距有關。

由于本測距方法是預想應用在車輛行駛過程中，所以假設前車是在相機拍攝的正前方。利用車牌字符區(qū)域的固定長度，通過小孔成像的相似原理對前車距離進行測量，其小孔成像原理簡化模型如圖4所示。

圖4 原理圖

在此模型中，點表示前車車牌中心所在位置，為相機所在位置，現(xiàn)實世界車牌字符區(qū)域長度經(jīng)過相機拍攝在成像界面呈現(xiàn)出車牌字符區(qū)域的成像長度，設成像界面的實際橫向長度為，相機成像界面橫向像素為，車牌圖片橫向像素為，則：

因相機等效焦距已知，且點左右兩三角形具備相似關系，則有：

式中，是相機位置與車牌位置的實際距離，表示相機距離車牌平面的垂直高度，在相機取景時，相機和車牌的連線會與垂直線產(chǎn)生夾角，這個夾角隨著前車與相機位置距離的變化而變化。

依據(jù)三角函數(shù)關系，可得車牌與相機位置的實際水平距離：

=×tan（4）

綜合式（1）到（4）可得：

3 試驗分析

為驗證所提出方法在實際場景下的應用的準確度，本次試驗直接和實際測量結果進行對比。由于試驗條件限制，本次試驗采用手機拍攝的靜態(tài)圖片進行驗證。選用的手機相機焦距為27 mm，等效焦距為35 mm，成像界面橫向長度為54 mm，所拍攝圖片像素為3 456×4 608，即為3 456。根據(jù)我國機動車號牌標準，現(xiàn)行藍底白字車牌實際尺寸為440 mm ×140 mm，去除車牌字符前后間隙，我國藍底白字車牌第一個字符前邊緣與最后一個字符后邊緣之間的距離為409 mm，即為409 mm；相機高度為1.5 m，車牌中心離地高度為55 cm，則為95 cm。試驗結果如表2所示。

表2 測距結果

實際距離/m車牌像素測量距離/m相對誤差/% 109110.022 80.228 156114.988 90.074 204619.893 90.531 253625.431 21.725 303129.538 31.539 352536.634 14.669 402241.632 84.028 451948.209 67.132 501753.883 47.767

由表2可知，測量值與實際值的最大相對誤差出現(xiàn)在測量距離最大處，約為7.767%，平均相對誤差約為3.077%，隨著測量距離的不斷增大，相對誤差有增大趨勢，但在近距離測量時具有較高的準確率。當測量距離逐漸增大后，由于相機成像像素的限制，測量的車牌像素差別變小，所以對于遠距離車距的測量對相機成像分辨率的依賴性增強，提高相機成像界面的橫向像素可以提高本方法在遠距離測距方面的準確率；另外，在實際測量過程中，成像界面傾斜度也關系著測量準確性，由于本方法設計本身的問題，當車牌檢測中出現(xiàn)傾斜時，會增大車牌長度像素計算值，測量距離會小于實際距離。

4 結論

本文基于深度學習的目標檢測算法YOLOv3實現(xiàn)車牌圖像的檢測與剪裁，所以對檢測算法的精確度有一定要求，算法本身的準確度、數(shù)據(jù)集的選取與收集和訓練的次數(shù)等都關系到本文測距方法的后續(xù)實現(xiàn)。另外，利用小孔成像原理對車距進行測量，對相機的成像像素存在一定要求，成像界面的橫向像素越高，不僅可以減小近距離車距測量的誤差，同時可以提高遠距離車距的測量準確度；此外，拍攝照片的清晰度會影響圖片處理階段的準確性，所以對測距結果的準確性也有著較大的影響。實際應用中，物體檢測和測距整合為一體，較為符合人眼感知環(huán)境的過程，較為方便。但對于遠距離條件下車牌的精確檢測以及不同類型車牌的辨別和分類測距問題都需要后續(xù)的深入探究。

[1]趙媛劼,魏朗,田山山,等.一種基于車牌特征的前車視覺測距方法[J].電子測量技術,2019,42(13):70-74.

[2] 王永森,劉宏哲.基于單目視覺的車輛下邊沿估計和逆透視變換的車距測量[J].計算機工程與科學,2020,42(07):1234-1243.

[3] HE K, ZHANG X, REN S, et al. Spatial Pyramid Poolingin Deep Convolutional Networks for Visual Recognition[J].IEEE Tran- sactions on Pattern Analysis & Machine Intelligence,2014,37(9): 1904-16.

[4] RENS,GIRSHICK R,GIRSHICK R,et al.Faster R-CNN: Towards RealTime Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017,39(6):1137-1149.

[5] Redmon J,Divvala S,Girshick R,et al.You only look once: unified, realtime object detection[C]//Conference on Computer Vision and Pattern Recognition, 2016:779-788.

[6] Redmon J,Farhadi A.YOLO9000: Better, Faster, Stronger[C]. computer vision and pattern recognition,2017:6517-6525.

[7] Redmon J, Farhadi A.YOLOv3: An Incremental Improvement [J].arXiv:Computer Vision and Pattern Recognition, 2018.arXiv: 1804.02767.

[8] LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single Shot Multi- Box Detector[C]//European Conference on Computer Vision. 2016.

Research on Vision Distance Measurement of Front Vehicle Based on Deep Learning

MAO Xuwei

( School of Automobile, Chang'an University, Shaanxi Xi'an 710064 )

Aiming at the problem of measuring the longitudinal distance of vehicles ahead, this paper puts forward a vehicle distance measurement method with the detection of vehicles ahead and visual measurement distance. Firstly, this method realizes license plate position detection through YOLOv3 algorithm and use OpenCV to crop license plate images. Then, the pixel length of the license plate character area on the camera imaging area was calculated. Finally, the longitudinal distance of the car was measured by the pinhole imaging principle. The test shows that the maximum error of this method is less than 8% and the average error is about 3.077% in the range of 50 meters. It can provide a new idea for the distance measurement of the preceding vehicle, and has certain application prospects in intelligent vehicle perception.

Vehicle distance measurement; Deep learning; License plate detection; Pinhole imaging

U471; U495; TP183; TN98

A

1671-7988(2021)24-64-04

U471；U495；TP183；TN98

A

1671-7988(2021)24-64-04

10.16638/j.cnki.1671-7988.2021.024.014

毛旭偉（1997—），碩士研究生，就讀于長安大學汽車學院，主要研究方向：車輛安全。