基于卷積神經(jīng)網(wǎng)絡(luò)的環(huán)視車位檢測(cè)研究

楊科　張效宇　徐維慶

摘 要：針對(duì)車載平臺(tái)有限的硬件資源，提出一種快速的卷積神經(jīng)網(wǎng)絡(luò)車位檢測(cè)方法。以YOLOv3算法為基礎(chǔ)，根據(jù)車位檢測(cè)特定的應(yīng)用場(chǎng)景，對(duì)模型的深層網(wǎng)絡(luò)進(jìn)行優(yōu)化縮減，并采用MobileNet技術(shù)對(duì)網(wǎng)絡(luò)中的卷積層進(jìn)行加速，該模型在占用較小的存儲(chǔ)資源前提下，能夠快速有效地完成車位檢測(cè)任務(wù)。實(shí)驗(yàn)結(jié)果表明，新模型大小為原先模型的1/12，檢測(cè)速度比原先模型快1倍，而檢測(cè)準(zhǔn)確率與原模型相近。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);車位檢測(cè);網(wǎng)絡(luò)縮減;MobileNet

1 引言

隨著中國(guó)經(jīng)濟(jì)的發(fā)展，汽車保有量逐年增加，人們出行得到極大改善，同時(shí)停車難問(wèn)題也日益凸顯。開(kāi)展自動(dòng)泊車技術(shù)研究，實(shí)現(xiàn)車輛自主車位識(shí)別和自動(dòng)泊車功能，能夠有效解決駕駛員停車難問(wèn)題。泊車傳感器分為超聲波雷達(dá)和攝像頭兩大類，超聲波檢測(cè)相鄰車輛外輪廓信息，攝像頭檢測(cè)地面車位線信息。兩類傳感器各有優(yōu)點(diǎn)，可以單獨(dú)用于有效車位的檢測(cè)，或者對(duì)兩類信息進(jìn)行融合，然后用融合后的車位信息引導(dǎo)車輛泊車。本文研究攝像頭車位檢測(cè)技術(shù)，基于4個(gè)魚(yú)眼攝像頭的環(huán)視拼接圖像，采用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)方法，識(shí)別地面車位線位置和類別，用于車輛自動(dòng)泊車。

傳統(tǒng)的視覺(jué)檢測(cè)方法使用Hough變換[1]、邊緣信息LSD[2]等手段，提取圖像中的車位線信息，這些方法具有較高的誤檢率，而且容易受到車輛陰影、光照變化、遮擋截?cái)嗟惹闆r影響。卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)方法[3-7]使用多類基礎(chǔ)網(wǎng)絡(luò)層，構(gòu)建復(fù)雜網(wǎng)絡(luò)模型，通過(guò)大量的標(biāo)注數(shù)據(jù)訓(xùn)練，能夠有效地克服傳統(tǒng)方法的不足，適應(yīng)多種復(fù)雜的自動(dòng)泊車場(chǎng)景。本文考慮車載有限的計(jì)算資源，對(duì)現(xiàn)有的YOLOv3[7]模型進(jìn)行改進(jìn)，降低模型復(fù)雜度，提高檢測(cè)算法實(shí)時(shí)性。針對(duì)車位線主要表現(xiàn)為邊緣、線條等特征，保留YOLOv3模型淺層結(jié)構(gòu)，優(yōu)化縮減模型深層結(jié)構(gòu)，另外使用MobileNet[8]技術(shù)對(duì)網(wǎng)絡(luò)進(jìn)行改造，進(jìn)一步減少網(wǎng)絡(luò)模型的參數(shù)量，降低對(duì)車載硬件資源的需求。最后仿真試驗(yàn)驗(yàn)證了該方法的有效性。

2 360環(huán)視系統(tǒng)

車載360環(huán)視系統(tǒng)由4個(gè)魚(yú)眼攝像頭和1個(gè)信號(hào)處理板組成。如圖1所示，攝像頭分別安裝在前進(jìn)氣格柵、左后視鏡、右后視鏡、后備箱門。每個(gè)攝像頭具有超大廣角的視野范圍，能夠探測(cè)180度范圍內(nèi)的所有場(chǎng)景目標(biāo)。4路攝像頭信號(hào)經(jīng)過(guò)傳輸線傳送至處理板，并在處理板中完成相關(guān)的圖像處理。

信號(hào)處理板主要實(shí)現(xiàn)魚(yú)眼校正、透視變換、環(huán)視拼接等功能，輸出一整幅完整的360環(huán)視?shū)B(niǎo)瞰圖像。魚(yú)眼校正[9]通過(guò)對(duì)攝像頭進(jìn)行標(biāo)定，獲取攝像頭的內(nèi)參和畸變系數(shù)，進(jìn)而構(gòu)建校正模型來(lái)消除魚(yú)眼形變的影響。透視變換[10]通過(guò)設(shè)置多個(gè)參考點(diǎn)，計(jì)算原圖到透視圖的轉(zhuǎn)換矩陣，將圖像坐標(biāo)系下的像素點(diǎn)轉(zhuǎn)換到俯視平面坐標(biāo)系。環(huán)視拼接[2]對(duì)兩兩相鄰的攝像頭俯視圖像進(jìn)行配準(zhǔn)，并對(duì)重疊區(qū)域進(jìn)行加權(quán)融合處理，將4個(gè)不同位置的透視圖像拼成一個(gè)完整的環(huán)視圖像。

3 檢測(cè)算法研究

目標(biāo)檢測(cè)需要精確找到物體的位置，并確定物體的類別，當(dāng)前主流的神經(jīng)網(wǎng)絡(luò)檢測(cè)方法分為兩步檢測(cè)和單步檢測(cè)兩大類。兩步檢測(cè)是通過(guò)候選區(qū)域模塊生成大量的可能包含待檢測(cè)物體的潛在候選框，再用分類器判斷每個(gè)候選框里是否包含物體，以及物體所屬類別的置信度，如Fast-RCNN[3]、Faster-RCNN[4]等。單步檢測(cè)將物體檢測(cè)任務(wù)當(dāng)作一個(gè)回歸問(wèn)題來(lái)處理，物體的區(qū)域預(yù)測(cè)和類別預(yù)測(cè)整合到單個(gè)神經(jīng)網(wǎng)絡(luò)模型中，使用一個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)物體的邊界框位置和類別置信度，如YOLO[5]、SSD[6]等。兩步檢測(cè)方法先產(chǎn)生候選框再檢測(cè)，具有較高的檢測(cè)準(zhǔn)確度，但運(yùn)行速度較慢。單步檢測(cè)方法采用單個(gè)神經(jīng)網(wǎng)絡(luò)將物體定位和物體分類統(tǒng)一起來(lái)，實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)，在檢測(cè)速度上具有優(yōu)勢(shì)，但檢測(cè)準(zhǔn)確度相對(duì)較差。另外，單步檢測(cè)方法經(jīng)過(guò)逐步迭代更新，新一代檢測(cè)方法在保證檢測(cè)速度的基礎(chǔ)上，不斷提升檢測(cè)準(zhǔn)確度，文獻(xiàn)[7]給出YOLOv3在檢測(cè)準(zhǔn)確度和檢測(cè)速度方面都具有較好表現(xiàn)，為此本文選用YOLOv3作為基礎(chǔ)網(wǎng)絡(luò)，開(kāi)展相應(yīng)的性能改進(jìn)研究。

3.1 YOLOv3算法原理

如圖2所示，YOLOv3檢測(cè)算法[7]包括特征提取、多尺度檢測(cè)、非極大值抑制等模塊，將一幅圖像輸入訓(xùn)練過(guò)的YOLOv3神經(jīng)網(wǎng)絡(luò)，將直接得到圖像上所有物體的邊界框位置和目標(biāo)類別。具體過(guò)程如下所示：

步驟1，將一幅圖像分成S×S個(gè)網(wǎng)格（grid cell），如果某個(gè)物體的中心落在這個(gè)網(wǎng)格中，則這個(gè)網(wǎng)格就負(fù)責(zé)預(yù)測(cè)該物體。每個(gè)網(wǎng)格要預(yù)測(cè)B個(gè)邊界框，每個(gè)邊界框包含5個(gè)信息（，，，，），和表示邊界框的中心點(diǎn)位置，和表示邊界框的寬和高，表示預(yù)測(cè)的邊界框的準(zhǔn)確度。為了提升模型訓(xùn)練的穩(wěn)定性，對(duì)5個(gè)信息值進(jìn)行歸一化處理，具體的變換公式如下：

其中，、是單元網(wǎng)格相對(duì)于圖像左上角的偏移量，、是邊界框先驗(yàn)值的寬度和高度，是sigmoid函數(shù)，是表示網(wǎng)格內(nèi)是否有物體，是預(yù)測(cè)邊界框和真實(shí)標(biāo)定框的交并比值。

步驟2，卷積神經(jīng)網(wǎng)絡(luò)特征提取。在原有的YOLOv2網(wǎng)絡(luò)基礎(chǔ)上，YOLOv3的特征提取網(wǎng)絡(luò)包含53個(gè)卷積神經(jīng)網(wǎng)絡(luò)層，并在每個(gè)卷積層中添加批標(biāo)準(zhǔn)化（Batch Normalization）處理，用于提升網(wǎng)絡(luò)的收斂性，同時(shí)消除對(duì)其它形式的正則化的依賴。YOLOv3借鑒殘差網(wǎng)絡(luò)（residual network）的做法，在卷積層之間設(shè)置直連層（shortcut），進(jìn)一步保證53層深網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練時(shí)具有較好的收斂性。

步驟3，多尺度檢測(cè)。YOLOv3使用步長(zhǎng)為2的卷積層來(lái)進(jìn)行降采樣，特征提取網(wǎng)絡(luò)經(jīng)過(guò)5次降采樣后，對(duì)網(wǎng)絡(luò)8倍、16倍、32倍的降采樣特征進(jìn)行檢測(cè)。為了網(wǎng)絡(luò)同時(shí)學(xué)習(xí)深層和淺層特征，對(duì)32倍降采樣特征進(jìn)行2倍上采樣，并與16倍降采樣特征進(jìn)行拼接，這樣16倍降采樣的特征增加，檢測(cè)效果也提到提升。8倍降采樣也進(jìn)行相似的操作，特征信息得到擴(kuò)充。

步驟4，非極大值抑制。通過(guò)計(jì)算檢測(cè)框的相互重疊程度，并判斷檢測(cè)框的置信度，剔除相互重疊嚴(yán)重、置信度低的檢測(cè)框，保留最優(yōu)的檢測(cè)結(jié)果。

在車輛泊車過(guò)程中，車身會(huì)對(duì)車位線產(chǎn)生部分遮擋，進(jìn)而影響車位角點(diǎn)的檢測(cè)效果，但是基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法，能夠有效克服該類問(wèn)題的影響。如圖8所示，使用本文的縮減+壓縮網(wǎng)絡(luò)仍能有效檢測(cè)各個(gè)車位角點(diǎn)，其中右上角邊界框是車身遮擋的檢測(cè)結(jié)果。另外車輛陰影也會(huì)影響車位信息檢測(cè)，圖9是縮減+壓縮網(wǎng)絡(luò)的車位角點(diǎn)檢測(cè)結(jié)果，其中右上角邊界框是有車輛陰影的情況。

5 結(jié)語(yǔ)

本文基于經(jīng)典的YOLOv3網(wǎng)絡(luò)模型，針對(duì)車位檢測(cè)這一特定應(yīng)用場(chǎng)景，縮減優(yōu)化網(wǎng)絡(luò)模型的深層結(jié)構(gòu)，并采用MobileNet技術(shù)對(duì)網(wǎng)絡(luò)進(jìn)行改造和加速。新的網(wǎng)絡(luò)模型具備存儲(chǔ)資源小、運(yùn)算速度快、檢測(cè)性能好等特性，在實(shí)車采集的360環(huán)視圖像上取得良好的檢測(cè)效果。通過(guò)本文的理論研究和仿真實(shí)驗(yàn)，對(duì)于后續(xù)的車載平臺(tái)移植開(kāi)發(fā)具有一定的探索意義。

參考文獻(xiàn)：

[1]張悅旺.基于改進(jìn)Hough變換的車位線識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（11）： 3046-3050.

[2]王晉疆，王鵬飛. 一種基于環(huán)視系統(tǒng)的車位檢測(cè)方法[J]. 分析儀器，2019，1：71-77.

[3]Ross Girshick. Fast R-CNN[C]. IEEE International Conference on Computer Vision （ICCV），Santiago，2015： 1440-1448.

[4]Shaoqing Ren，Kaiming He，Ross Girshick，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[5]田坤，李冠，趙衛(wèi)東.基于YOLO和極限學(xué)習(xí)機(jī)的駕駛員安全帶檢測(cè)模型研究[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（11）： 196-201.

[6]Liu W，Anguelov D，Erhan D，et al. SSD： single shot multiBox detector[C].European Conference on Computer Vision，2016：21-37.

[7]Redmon J，F(xiàn)arhadi A. YOLOv3：an incremental improvement[J]. arXiv：1804.02767，2018.

[8]Andrew G. Howard，Menglong Zhu，Bo Chen，et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications [J]. arXiv： 1704.04861，2017.

[9]Zhengyou Zhang. A Flexible New Technique for Camera Calibration [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence 2000，22（11）：1330-1334.

[10]楊剛，臧春華，李仲年. 基于參考點(diǎn)配準(zhǔn)法的全景泊車系統(tǒng)研究[J].傳感器與微系統(tǒng)，2017，36（10）：41-44.

[11]Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks [C]. Proceedings of the Advances in Neural Information Processing Systems. South Lake Tahoe，USA. 2012： 1097-1105.