目標(biāo)檢測(cè)算法在無(wú)人駕駛領(lǐng)域應(yīng)用的研究*

馬 飛 ，劉 禎 *

（1.湖北文理學(xué)院 純電動(dòng)汽車(chē)動(dòng)力系統(tǒng)設(shè)計(jì)與測(cè)試湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 襄陽(yáng) 441053；2.湖北文理學(xué)院 汽車(chē)與交通工程學(xué)院，湖北 襄陽(yáng) 441053）

環(huán)境感知、行為決策以及動(dòng)力控制三大模塊大體組成無(wú)人駕駛車(chē)輛系統(tǒng)的總體架構(gòu)。其中無(wú)人車(chē)“智能”的核心模塊是行為決策。動(dòng)力控制模塊對(duì)無(wú)人車(chē)進(jìn)行運(yùn)動(dòng)控制的基準(zhǔn)來(lái)自于行為決策模塊對(duì)周?chē)h(huán)境及自車(chē)信息的綜合[1]，因此可以說(shuō)行為決策模塊是無(wú)人車(chē)的大腦。組成行為決策模塊的方法主要有兩大類(lèi)，一類(lèi)是基于規(guī)則的行為決策方法，例如有限狀態(tài)機(jī)法，此方法的優(yōu)點(diǎn)有邏輯清楚、實(shí)用性強(qiáng)等；另一類(lèi)是基于深度學(xué)習(xí)的決策方法[2]以及基于決策樹(shù)[3]，支持向量機(jī)（SVM）[4]等機(jī)器學(xué)習(xí)的決策方法。由于不同道路的環(huán)境差異較大，而基于規(guī)則的行為決策模型泛化能力差，因此難以滿足車(chē)輛在隨機(jī)道路上行駛時(shí)所產(chǎn)生的復(fù)雜決策，基于深度學(xué)習(xí)的決策方法，在經(jīng)過(guò)海量道路數(shù)據(jù)訓(xùn)練后的網(wǎng)絡(luò)模型能達(dá)到較高的泛化能力以及極強(qiáng)的靈活性，因而現(xiàn)在多在實(shí)際落地場(chǎng)景中被采用。但是無(wú)論采用哪種決策方法，其決策質(zhì)量的好壞極大程度取決于車(chē)輛感知層輸入數(shù)據(jù)的好壞。一般來(lái)說(shuō)，感知層的數(shù)據(jù)來(lái)源有三大部分：（1）基于雷達(dá)、攝像頭等車(chē)載傳感器所獲得的局部環(huán)境信息。（2）基于GPS、SLAM（Simultaneous Localization And Mapping）[5]等方法獲取的自車(chē)定位信息。（3）地理地圖信息和任務(wù)信息[6]。其中實(shí)時(shí)反映無(wú)人車(chē)運(yùn)行狀況的信息為基于雷達(dá)、攝像頭等獲取的局部環(huán)境信息。而車(chē)載激光雷達(dá)有對(duì)遠(yuǎn)距離小目標(biāo)的探測(cè)效果不佳、信息處理量體積大等缺陷，又因?yàn)樯疃葘W(xué)習(xí)方法對(duì)圖像處理有著獨(dú)特的優(yōu)越性，因此現(xiàn)階段無(wú)人車(chē)對(duì)于上述任務(wù)的完成多使用單/雙攝像頭來(lái)實(shí)現(xiàn)。通過(guò)從攝像頭得到原始圖像數(shù)據(jù)直接傳遞給深度卷積神經(jīng)網(wǎng)絡(luò)算法模型，網(wǎng)絡(luò)模型將對(duì)圖像信息進(jìn)行處理，提取出其中豐富的圖像特征以及語(yǔ)義信息后輸出。本文通過(guò)對(duì)比兩類(lèi)應(yīng)用于目標(biāo)檢測(cè)算法的卷積神經(jīng)網(wǎng)絡(luò)模型，提出YOLO 實(shí)時(shí)目標(biāo)檢測(cè)系列算法在交通道路上對(duì)于目標(biāo)檢測(cè)的應(yīng)用過(guò)程示例，為下層決策系統(tǒng)提供準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。

1 目標(biāo)檢測(cè)算法模型

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)熱點(diǎn)任務(wù)，其目的是在圖像數(shù)據(jù)中找出目標(biāo)物體的位置邊框以及對(duì)目標(biāo)物體的所屬類(lèi)別進(jìn)行分類(lèi)[7]。如今目標(biāo)檢測(cè)相關(guān)算法已經(jīng)被應(yīng)用于各行各業(yè)之中。例如在車(chē)輛無(wú)人駕駛領(lǐng)域被應(yīng)用于道路檢測(cè)[8]、行人檢測(cè)[9]、交通異常事件檢測(cè)[10]等；在醫(yī)藥領(lǐng)域被用于醫(yī)藥空瓶表面氣泡檢測(cè)[11]、對(duì)牙齦炎早期跡象的預(yù)防檢測(cè)[12]、對(duì)病人進(jìn)行醫(yī)學(xué)診斷[13]等，事實(shí)上目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型還在安檢安防領(lǐng)域[14-17]，光學(xué)遙感領(lǐng)域[18-20]有著較為廣泛的應(yīng)用。

大體來(lái)說(shuō)，目標(biāo)檢測(cè)算法根據(jù)是否提前生成候選框而分為兩大類(lèi)。一類(lèi)是傳統(tǒng)的目標(biāo)檢測(cè)算法，一類(lèi)是基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法。傳統(tǒng)目標(biāo)檢測(cè)算法往往通過(guò)人工設(shè)計(jì)的特征來(lái)選擇生成候選框，這導(dǎo)致了在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中會(huì)產(chǎn)生很多冗余的窗口，整體計(jì)算步驟繁多，造成網(wǎng)絡(luò)的檢測(cè)速度慢，實(shí)時(shí)性差[21]。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法省去了提前生成候選框這一步驟，而將對(duì)圖像數(shù)據(jù)的特征提取、對(duì)目標(biāo)物體的類(lèi)別分類(lèi)和位置預(yù)測(cè)都結(jié)合到了一個(gè)過(guò)程進(jìn)行，使得目標(biāo)檢測(cè)這一過(guò)程簡(jiǎn)化為一種端到端的問(wèn)題[22]。這對(duì)網(wǎng)絡(luò)模型的檢測(cè)速度提升有著較為樂(lè)觀的提升，但是精度有著些許的降低。基于工業(yè)實(shí)際場(chǎng)景中對(duì)實(shí)時(shí)性的高要求，如今多采用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法模型。

1.1 R-CNN 系列算法

在2012 年，Hinton 等人提出AlexNet 網(wǎng)絡(luò)并取得當(dāng)年的ILSVRC 圖像分類(lèi)比賽冠軍以后，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像算法就開(kāi)始在圖像處理問(wèn)題上大放異彩。2014年，經(jīng)過(guò)兩年的融合改進(jìn)，Grishick 等人提出R-CNN[23]網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖如圖1 所示。

圖1 R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖[23]

R-CNN 工作的大概流程為，首先對(duì)輸入圖像進(jìn)行候選區(qū)域的提取，然后利用CNN 對(duì)每個(gè)區(qū)域進(jìn)行定長(zhǎng)特征向量的抽取，最后利用SVM 進(jìn)行目標(biāo)分類(lèi)。對(duì)于圖像分類(lèi)任務(wù)來(lái)說(shuō)，R-CNN 首次應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)并借鑒了滑框的思想對(duì)區(qū)域圖像信息進(jìn)行識(shí)別。

2015 年，Ren 等人在對(duì)前兩類(lèi)R-CNN 網(wǎng)絡(luò)進(jìn)行優(yōu)化設(shè)計(jì)以后提出了Faster R-CNN[24]。在Faster R-CNN中，作者真正意義上實(shí)現(xiàn)了將圖像候選框的生成，圖像特征的提取，對(duì)目標(biāo)物體的位置回歸與所屬類(lèi)別的分類(lèi)都整合到一個(gè)網(wǎng)絡(luò)模型中去。這些步驟極大程度地提高了網(wǎng)絡(luò)模型的檢測(cè)速度，讓Faster R-CNN 成為當(dāng)時(shí)第一個(gè)準(zhǔn)實(shí)時(shí)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型。

1.2 YOLO 系列算法

自基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法被提出以來(lái)，使用該方法構(gòu)建的網(wǎng)絡(luò)模型不斷地被應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，并且在該領(lǐng)域取得了很多不錯(cuò)的成績(jī)[25]。YOLO 目標(biāo)檢測(cè)系列算法因?yàn)槠涓邥r(shí)效性，高準(zhǔn)確性，輕量性脫穎而出，在工業(yè)中現(xiàn)已被用于施工場(chǎng)景的安全帽實(shí)時(shí)檢測(cè)，高壓開(kāi)關(guān)設(shè)備異常發(fā)熱點(diǎn)目標(biāo)檢測(cè)，衛(wèi)星圖像船只實(shí)時(shí)檢測(cè)等領(lǐng)域[26-30]。

YOLO 系列算法的初衷就在于解決傳統(tǒng)目標(biāo)檢測(cè)算法速度慢、時(shí)效性差等問(wèn)題。YOLO 目標(biāo)檢測(cè)算法系列的發(fā)展從2016 年開(kāi)始，其正式版到現(xiàn)在已經(jīng)迭代到了YOLOv4。YOLOv1 算法模型由 Redmon 提出[31]，相對(duì)于傳統(tǒng)目標(biāo)檢測(cè)算法，YOLOv1 算法模型的檢測(cè)速度已有極大地提升，達(dá)到了45f/s。YOLOv1 算法的工作流程如圖2所示。

圖2 YOLOv1 算法工作流程圖[31]

從圖中可以看出，YOLOv1 算法模型省略了傳統(tǒng)目標(biāo)檢測(cè)算法模型中提前生成候選框的步驟，這是提升其檢測(cè)速度的一大措施。在2017 年，Redmon 又提出了YOLOv2[32]。在 YOLOv2 算法模型中，Redmon 主要對(duì) v1階段模型進(jìn)行了一系列的改進(jìn)，使得算法模型的輸出在原有高速的基礎(chǔ)上提升了對(duì)目標(biāo)物體的定位準(zhǔn)確性，經(jīng)過(guò)改進(jìn)后的算法模型MAP 具有顯著提高。

2018 年，Redmon 繼續(xù)在 YOLOv2 算法模型的基礎(chǔ)上提出了YOLOv3 實(shí)時(shí)目標(biāo)檢測(cè)算法[33]。在YOLOv3 算法中，Redmon 更換了前兩代模型的骨干網(wǎng)絡(luò)模型，改為采用DarkNet-53。這個(gè)做法使模型在保留原有高檢測(cè)速度的同時(shí)，進(jìn)一步提升了檢測(cè)精度。YOLO 系列目標(biāo)檢測(cè)網(wǎng)絡(luò)的最后一次迭代發(fā)生在2020 年，Bochkovskiy 等人提出了YOLOv4[34]。YOLOv4 網(wǎng)絡(luò)模型相對(duì)于前三代網(wǎng)絡(luò)模型最大的改變?cè)谟谄溟_(kāi)始考慮網(wǎng)絡(luò)模型在現(xiàn)實(shí)場(chǎng)景下的部署問(wèn)題。YOLOv4 中提出了一種讓用戶自己訓(xùn)練高效目標(biāo)檢測(cè)網(wǎng)絡(luò)模型的方法，只需要使用一張1080Ti 或者2080Ti 的GPU。Redmon 還對(duì)YOLOv4 網(wǎng)絡(luò)模型做了一系列的微調(diào)，例如更換新的骨干網(wǎng)絡(luò)，使用正則化、數(shù)據(jù)增強(qiáng)等，這些步驟使得YOLOv4 在前四代模型中的性能達(dá)到了最優(yōu)。

1.3 目標(biāo)檢測(cè)模型適用場(chǎng)景對(duì)照表

根據(jù)對(duì)上述幾類(lèi)目標(biāo)檢測(cè)算法模型的說(shuō)明及對(duì)照，得出幾類(lèi)目標(biāo)檢測(cè)算法模型的適用場(chǎng)景對(duì)照表如表1 所示。

表1 幾類(lèi)目標(biāo)檢測(cè)算法模型的適用場(chǎng)景對(duì)照表

2 YOLOv4 網(wǎng)絡(luò)在無(wú)人車(chē)駕駛場(chǎng)景的應(yīng)用示例

對(duì)于無(wú)人車(chē)在道路上實(shí)時(shí)運(yùn)行的場(chǎng)景，無(wú)人車(chē)需要不斷注意周邊的車(chē)輛以及行人，另外無(wú)人車(chē)還需要對(duì)其行駛路面的車(chē)道線、路口邊的交通標(biāo)志、道路前方發(fā)生的事故進(jìn)行檢測(cè)[35]，之后感知模塊將車(chē)載傳感器收集到的數(shù)據(jù)向決策模塊傳遞，決策模塊接收后采用內(nèi)置的決策算法向動(dòng)力控制模塊輸出信號(hào)，車(chē)輛自主實(shí)現(xiàn)避障，轉(zhuǎn)變車(chē)道線等功能，保障車(chē)內(nèi)乘員的生命安全。如今基于算力更強(qiáng)大的嵌入式設(shè)備，深度學(xué)習(xí)計(jì)算卡，GPU，以及Autoencoder 預(yù)訓(xùn)練和并行計(jì)算等技術(shù)的發(fā)展，使得在移動(dòng)端設(shè)備上訓(xùn)練并使用深度神經(jīng)網(wǎng)絡(luò)成為現(xiàn)實(shí)[36]。本文提出一種基于YOLOv4 神經(jīng)網(wǎng)絡(luò)無(wú)人駕駛平臺(tái)的解決方案如圖3所示。

圖3 基于YOLOv4 的無(wú)人駕駛平臺(tái)解決方案

借鑒于NVIDIA 構(gòu)建的Driven-er 平臺(tái)[37]。該方法首先在線上平臺(tái)利用高質(zhì)量的數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，然后將訓(xùn)練好的網(wǎng)絡(luò)模型部署到車(chē)載嵌入式計(jì)算平臺(tái)。與此同時(shí)，利用無(wú)人駕駛平臺(tái)提供算法庫(kù)支持，實(shí)現(xiàn)無(wú)人車(chē)無(wú)線更新功能。無(wú)人車(chē)在道路上行駛時(shí)，車(chē)載攝像頭獲取前方道路圖像數(shù)據(jù)，之后向后傳遞給預(yù)先部署在車(chē)載式嵌入計(jì)算平臺(tái)的計(jì)算卡中，YOLOv4 神經(jīng)網(wǎng)絡(luò)模型對(duì)傳遞過(guò)來(lái)的圖像數(shù)據(jù)進(jìn)行卷積、池化等操作提取圖像特征，之后輸出前方車(chē)輛的位置信息。當(dāng)手動(dòng)進(jìn)行轉(zhuǎn)向時(shí)，方向盤(pán)角度傳感器得到一個(gè)旋轉(zhuǎn)角，之后利用網(wǎng)絡(luò)預(yù)測(cè)的旋轉(zhuǎn)角與之形成Loss Function。最后網(wǎng)絡(luò)反向傳播，并調(diào)整權(quán)重，形成一個(gè)閉環(huán)控制系統(tǒng)，其工作流程如圖4所示。

圖4 使用YOLOv4 進(jìn)行道路目標(biāo)檢測(cè)的車(chē)輛示意圖

由于深度學(xué)習(xí)算法對(duì)圖像處理的高效性，使得無(wú)人車(chē)可以利用單/雙目攝像頭實(shí)現(xiàn)對(duì)自動(dòng)控制的需求，減輕了傳統(tǒng)方法對(duì)昂貴的雷達(dá)、激光掃描儀等車(chē)載傳感器的依賴(lài)性。值得一提的是，2020 年華為諾亞方舟實(shí)驗(yàn)室的一篇論文中提出了一種新型的端側(cè)神經(jīng)網(wǎng)絡(luò)架構(gòu)，稱(chēng)之為GhostNet[38]。該網(wǎng)絡(luò)包含一種全新的神經(jīng)網(wǎng)絡(luò)基本單元Ghost 模塊，被用來(lái)處理神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)所產(chǎn)生的冗余特征圖。其基本思想就是利用一種更加廉價(jià)的方法來(lái)生成那些極其相似的特征圖，而這些特征圖在原神經(jīng)網(wǎng)絡(luò)中是以卷積等操作生成的，因此Ghost 模塊減少了神經(jīng)網(wǎng)絡(luò)的計(jì)算成本，同時(shí)保持可比的性能。在效率和準(zhǔn)確性方面，使用提出的新模塊構(gòu)建的GhostNet 均優(yōu)于最新的輕量神經(jīng)網(wǎng)絡(luò)。

3 結(jié)束語(yǔ)

本文對(duì)無(wú)人車(chē)如何實(shí)現(xiàn)“智能”進(jìn)行了解釋?zhuān)?duì)幾種主流的目標(biāo)檢測(cè)算法進(jìn)行了概述。對(duì)目標(biāo)檢測(cè)算法進(jìn)行了詳細(xì)地描述。從實(shí)現(xiàn)無(wú)人車(chē)自主決策的角度來(lái)說(shuō)，機(jī)器視覺(jué)以及深度學(xué)習(xí)等方法將會(huì)扮演重要的角色。如今已不乏尋求純視覺(jué)作為自動(dòng)駕駛解決方案的大廠，例如Tesla、百度的Apollo Lite、華為、蔚來(lái)等。雖然神經(jīng)網(wǎng)絡(luò)作為圖像處理有獨(dú)特的優(yōu)勢(shì)，但是其仍然存在一些問(wèn)題和技術(shù)瓶頸。比如如何處理神經(jīng)網(wǎng)絡(luò)的黑盒性、如何在訓(xùn)練集很小的情況下對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以及如何更好的利用目標(biāo)檢測(cè)算法對(duì)無(wú)人車(chē)決策模塊進(jìn)行優(yōu)化等，對(duì)于這些現(xiàn)存問(wèn)題的解決將會(huì)是未來(lái)深度學(xué)習(xí)領(lǐng)域和無(wú)人駕駛視覺(jué)領(lǐng)域融合研究的重點(diǎn)。