深度學(xué)習(xí)技術(shù)在非機動車違規(guī)管控中的應(yīng)用

史曉蒙SHI Xiao-meng；魏健康WEI Jian-kang；呂曉鵬LV Xiao-peng；張偉ZHANG Wei；田其鵬TIAN Qi-peng

（北京易華錄信息技術(shù)股份有限公司，北京 100026）

0 引言

在過去的若干年中國的基建發(fā)展迅速，交通作為基建的一環(huán)對城市經(jīng)濟(jì)的發(fā)展起到重要的推動作用，構(gòu)建良好完善的交通管理系統(tǒng)成為城市建設(shè)的緊迫需求，而當(dāng)下日趨復(fù)雜的道路狀況加大了交通管理的難度，基于人力的交通管理方法已經(jīng)不適應(yīng)目前的環(huán)境。當(dāng)下大數(shù)據(jù)與人工智能技術(shù)已經(jīng)日趨成熟，因此利用人工智能技術(shù)提升交通管理系統(tǒng)的智能化和效率是當(dāng)前較優(yōu)的選擇，本文以非機動車管理應(yīng)用為例，簡單介紹人工智能技術(shù)如何為交通管理系統(tǒng)賦能。

1 研究背景

道路作為城市的大動脈對城市的經(jīng)濟(jì)和社會發(fā)展都有著舉足輕重的作用，創(chuàng)建安全、暢通的交通環(huán)境是建設(shè)文明城市和現(xiàn)代化城市的首要目標(biāo)。而目前復(fù)雜的交通狀況，城市交通擁堵，交通違法不規(guī)范行為等依然存在，交通安全形勢嚴(yán)峻，如何提高交通管理水平，解決城市的交通問題是交通管理部門面臨的問題和挑戰(zhàn)。

規(guī)范交通行為是解決交通問題中比較好的切入點，遵守交通規(guī)則是保證道路正常運行的基礎(chǔ)，因此集中開展針對機動車、非機動車的一系列交通違法整治工作可以視為現(xiàn)階段交管工作的重中之重。但是在違法整治工作中，存在以下難題：交警部門已建設(shè)的視頻資源正面臨內(nèi)容浪費、已建設(shè)設(shè)備非智能化、手動抓拍人力不足、城市道路供給和需求之間呈現(xiàn)顯著的不匹配；隨著城市化信息技術(shù)的發(fā)展，城市智能交通產(chǎn)業(yè)規(guī)模也在逐年擴大。人工智能賦能交通行業(yè)，對加快構(gòu)建數(shù)字交通、交通強國具有重要意義。

同時隨著外賣等新興行業(yè)的發(fā)展，外賣車違法事件也日漸增多，一方面造成了交通秩序混亂，另一方面也對人身安全等造成威脅，因此對于外賣車的監(jiān)管具有十分重要的意義。

2 外賣車違法檢測系統(tǒng)

外賣車違法檢測系統(tǒng)是以機器視覺中的多目標(biāo)跟蹤為基礎(chǔ)，并集分類、檢測和邏輯分析于一體的應(yīng)用，用于檢測外賣車的5 種違法行為，包括駕駛員未戴頭盔，占用機動車道、逆行、橫穿道路和闖紅燈檢測，整體的算法架構(gòu)圖見圖1。

圖1 外賣車整體架構(gòu)

遵循深度學(xué)習(xí)的通用思路，分別按照①收集任務(wù)數(shù)據(jù)并標(biāo)注；②構(gòu)建任務(wù)模型；③模型的訓(xùn)練與優(yōu)化三個步驟來構(gòu)建違法系統(tǒng)中所用到的算法模型，當(dāng)前的算法共包括5 種模型，如表1 所示。

表1 模型及用途匯總表

2.1 多目標(biāo)跟蹤模型

在整個違法事件檢測系統(tǒng)中跟蹤模型是核心模塊，這里使用的是DeepSORT 多目標(biāo)跟蹤模型，該模型主要分為兩個部分：①ReID 外觀重識別模型部分；②SORT 軌跡分配部分。

2.1.1 ReID 重識別模型

ReID 重識別模型常應(yīng)用于跨攝像頭行人重識別中，該模型可以識別不同對象的外觀特征并用特定的向量來表征，然后通過比較特征向量的距離來判斷不同對象的相似程度，在此處的非機動車違法事件檢測中只需要對同一個攝像頭設(shè)備下非機動車進(jìn)行識別即可，因此首先構(gòu)建同一攝像頭設(shè)備下的非機動車ReID 數(shù)據(jù)集，然后基于這些數(shù)據(jù)重新訓(xùn)練ReID 模型，在ReID 模型中使用ResNet50作為骨干網(wǎng)絡(luò)，并使用512 維度的特征向量來表征物體，最終的效果是相同的非機動車間特征向量的距離遠(yuǎn)小于不同的非機動車間的特征向量距離。

2.1.2 SORT 軌跡分配部分

在SORT 部分中使用了卡爾曼濾波和匈牙利匹配算法，卡爾曼濾波根據(jù)線性運動模型來更新對象軌跡的位置等相關(guān)信息，而匈牙利匹配則負(fù)責(zé)軌跡框和檢測框的匹配問題，這里主要是針對特定場景對運動模型的狀態(tài)方程進(jìn)行調(diào)整，使用運動對象的中心點、寬高比以及高度作為運動模型的狀態(tài)空間參數(shù)，并對位置和速度參數(shù)進(jìn)行整定，從而對當(dāng)前場景下非機動車的運動進(jìn)行更精確的建模。

在匈牙利匹配中使用對象之間的特征相似性、交并比IOU 和馬氏距離來更精確地匹配跟蹤框和檢測框，從而提高跟蹤的準(zhǔn)確性。

2.2 分類模型

外賣車分類采用EfficientNet-b5 分類模型，同時為解決數(shù)據(jù)集類別之前存在失衡問題，因此使用focal loss 作為訓(xùn)練的損失函數(shù)，為了確保模型學(xué)習(xí)到正確的特征，使用grad-cam 可視化卷積的最后一層來理解模型在分類時最關(guān)注的特征區(qū)域。

在分類模型中也同時加入了位置注意力（spatial attention）模塊，注意力模塊可以捕捉對分類結(jié)果更有利的特征，如不同的外賣品牌中駕駛員的頭盔、衣服或箱子包含大量的差異性信息，而使用注意力模塊使模型更關(guān)注這些區(qū)域的特征從而更有利于最終的分類效果。

為了解決數(shù)據(jù)集的類別不平衡問題，這里使用聚焦損失（focal loss），由于待分類的外賣車品牌有多種，因此這里將二分類的focal loss 修改為多分類的focal loss，然后使用相應(yīng)類別樣本數(shù)量的相關(guān)權(quán)重來進(jìn)一步優(yōu)化該損失，從而提高樣本數(shù)量少的類別和困難樣本在訓(xùn)練模型中的比重，最終保持各個類別準(zhǔn)確率的平衡，同時在分類模型的訓(xùn)練過程中加入了標(biāo)簽平滑（label smooth）、隨機權(quán)重平均（Stochastic Weight Averaging）和余弦學(xué)習(xí)率衰減等方式來提升模型的泛化能力。

紅綠燈分類中使用輕量化MobileNetV3 模型，保證模型精度的同時提高推理效率。

2.3 YOLOV5 檢測模型

這里用到兩個檢測模型，分別用于檢測非機動車與駕駛員頭盔，這里采取的訓(xùn)練方式與現(xiàn)有技術(shù)相同，都是基于大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)集進(jìn)行微調(diào)，首先從各種場景采集大量的非機動車數(shù)據(jù)，然后基于這些數(shù)據(jù)訓(xùn)練一版模型得到預(yù)訓(xùn)練權(quán)重，當(dāng)模型要部署到新的場景時，從該場景收集少量的現(xiàn)場數(shù)據(jù)，然后在已有的預(yù)訓(xùn)練權(quán)重上進(jìn)行微調(diào)，由于預(yù)訓(xùn)練權(quán)重是基于不同的場景數(shù)據(jù)訓(xùn)練的，保證了數(shù)據(jù)的多樣性，可以大幅提高模型的泛化能力，而基于特定場景的微調(diào)也進(jìn)一步提升模型在該場景下的表現(xiàn)能力。

2.4 違法事件檢測

違法事件檢測是整合前面得到的模型并結(jié)合邏輯分析判斷實現(xiàn)的具體應(yīng)用，具體流程為：

①讀入場景的視頻幀數(shù)據(jù)。

②使用YOLO 模型檢測當(dāng)前場景中的非機動車，如果存在非機動車則使用EfficientNet 模型識別其品牌，并設(shè)置為跟蹤狀態(tài)，并使用DeepSORT 算法進(jìn)行非機動車目標(biāo)跟蹤，最終得到完整的非機動車軌跡數(shù)據(jù)，這里的軌跡數(shù)據(jù)包含當(dāng)前非機動車的軌跡編號、非機動車的跟蹤框（中心點坐標(biāo)、寬和高）、非機動車的縮略圖數(shù)據(jù)以及當(dāng)前外賣車的品牌類別。如果當(dāng)前場景中沒有非機動車則設(shè)置為檢測狀態(tài)，只有當(dāng)系統(tǒng)處于跟蹤狀態(tài)時才對非機動車進(jìn)行跟蹤。

③系統(tǒng)在跟蹤狀態(tài)時獲取了各個非機動車的軌跡信息，而每個非機動車都有唯一的軌跡號，因此可以減少時序視頻幀信息的重復(fù)利用，達(dá)到去重的目的，根據(jù)軌跡信息并結(jié)合邏輯判斷等方式判斷違法事件。

④當(dāng)存在違法事件后則返回違法事件，輸出違法信息。

2.4.1 未戴頭盔（見圖2）

圖2 未戴頭盔流程圖

檢測步驟：

①輸入對應(yīng)軌跡編號下非機動車的縮略圖。

②使用YOLOV5 進(jìn)行頭盔檢測，如果檢測到頭盔就直接返回，如果沒有檢測到頭盔則獲取非機動車駕駛員的頭部圖像。

③利用圖像灰度直方圖對駕駛員頭部圖像進(jìn)行分析，如果其直方圖分布滿足設(shè)置的閾值則表示該分布與未戴頭盔的特征分布一致，直接輸出未戴頭盔事件。

2.4.2 闖紅燈檢測（見圖3）

圖3 闖紅燈流程圖

檢測步驟：

①輸入場景圖像。

②根據(jù)預(yù)先獲取到的紅綠燈區(qū)域信息裁減紅綠燈圖像，并使用MobileNet 識別紅綠燈類別，如果為紅燈則進(jìn)行后續(xù)的闖紅燈判斷，否則直接返回。

③讀取對應(yīng)軌跡編號的坐標(biāo)點信息，依次判斷軌跡點是否出現(xiàn)在非機動車的停止線以內(nèi)；跨過停止線；出現(xiàn)在對面的路口，如果三個條件全滿足并且整個過程中都是紅燈，則判定為闖紅燈，并輸出事件。

2.4.3 逆行檢測（見圖4）

圖4 逆行檢測流程圖

檢測步驟：

①輸入非機動車軌跡和縮略圖數(shù)據(jù)。

②根據(jù)車道的實際方向來預(yù)先設(shè)置方向線，計算軌跡線和方向線的夾角，如果夾角大于閾值則繼續(xù)判斷，否則直接返回。

③使用ResNet50 多屬性分類模型來識別非機動車是否為車頭或車尾，如果車頭的朝向與方向線方向相反，并且第2 步中計算的夾角大于閾值，則輸出逆行事件，否則直接返回。

2.4.4 占用機動車道（見圖5）

檢測步驟：

①輸入非機動車軌跡數(shù)據(jù)。

②根據(jù)機動車道的實際位置預(yù)先設(shè)置機動車道區(qū)域多邊形框，然后判斷非機動車的軌跡點是否出現(xiàn)在機動車道框內(nèi)，如果出現(xiàn)則表示占用機動車道，輸出違法事件，否則直接返回。

2.4.5 橫穿道路檢測（見圖6）

圖6 橫穿道路檢測流程圖

檢測步驟：

①輸入非機動車軌跡數(shù)據(jù)。

②根據(jù)機動車道的實際位置為每個車道設(shè)置單獨的多邊形框，然后判斷非機動車的軌跡點在各個機動車車道的占用情況，如果占用車道的數(shù)量大于設(shè)定的閾值則表示車輛橫穿了道路，直接輸出違法事件，否則直接返回。

2.5 系統(tǒng)性能

系統(tǒng)性能總結(jié)如表2。

表2 系統(tǒng)性能總結(jié)

使用視頻進(jìn)行測試得到的時間消耗曲線見圖7。

圖7 時間消耗曲線

2.6 本方案的優(yōu)點

本論文提出了一種基于深度學(xué)習(xí)的外賣車違法事件檢測方法，設(shè)計了模型推理程序。

首先，采集實際場景非機動車圖像作為基礎(chǔ)數(shù)據(jù)集，建立大規(guī)模訓(xùn)練數(shù)據(jù)集使其既具有非機動車各角度、場景下樣本，又具有其詳細(xì)特征。然后采用深度學(xué)習(xí)在訓(xùn)練數(shù)據(jù)集上訓(xùn)練適用于實際場景的非機動車檢測模型。同時根據(jù)外賣車/非機動車數(shù)據(jù)集，進(jìn)行美團(tuán)、餓了么及普通非機動車分類模型訓(xùn)練，建立外賣車分類模型。實際使用時，對視頻流進(jìn)行抽幀，然后進(jìn)行非機動車檢測，對于檢測到的非機動車進(jìn)行分類，區(qū)分是否為外賣車及廠家等信息，通過跟蹤算法，得到外賣車軌跡信息，利用外賣車軌跡信息、車道線信息及紅綠燈狀態(tài)信息，對外賣車行駛過程進(jìn)行監(jiān)控，判斷其行駛過程是否存在未戴頭盔、闖紅燈、逆行、占用機動車車道、橫穿道路等違法行為。

模型可以實現(xiàn)在各種應(yīng)用場景及不同光照條件下的快速、準(zhǔn)確的外賣車違法行為檢測，多場景下準(zhǔn)確率達(dá)95%，在Tesla p4 上測試平均速度可達(dá)52.35ms。

本論文主要的創(chuàng)新點為：

①建立實際場景下的非機動檢測數(shù)據(jù)集及美團(tuán)、餓了么、普通非機動車分類數(shù)據(jù)集，包括真實視頻場景中采集的圖像與公共數(shù)據(jù)集圖像，并采用多種數(shù)據(jù)增強方式（如mosaic 增強、隨機擦除、加入噪聲等）進(jìn)一步擴大數(shù)據(jù)集；

②使用YOLOV5 檢測模型，可直接得到非機動車矩形框，通過提取矩形框內(nèi)非機動車小圖進(jìn)行分類，實現(xiàn)美團(tuán)、餓了么、普通非機動車的分類，有助于加強對于對局部信息的理解；

③不僅限于正面非機動車數(shù)據(jù)，對于多角度、多姿態(tài)、多場景下的非機動車均可檢測，對于非機動車非法事件的檢測清晰、明確，無需人工二次分類；

④使用TensorRT 作為模型的推理后端優(yōu)化模型的推理速度并降低對顯存資源的消耗，并使用多進(jìn)程和多線程技術(shù)優(yōu)化違法事件檢測的判斷邏輯，從而進(jìn)一步優(yōu)化整個系統(tǒng)的執(zhí)行效率，最終提高系統(tǒng)的并發(fā)性能，當(dāng)前外賣車違法事件檢測系統(tǒng)在Tesla P4 上測試的平均檢測速度為52.35ms。

3 結(jié)束語

近幾年，隨著智慧城市建設(shè)及交通秩序建設(shè)，對非機動車尤其是外賣車的監(jiān)管愈發(fā)重視，規(guī)范交通行為是解決交通問題中比較好的切入點，遵守交通規(guī)則是保證道路正常運行的基礎(chǔ)，因此集中開展針對機動車、非機動車的一系列交通違法整治工作可以視為現(xiàn)階段交管工作的重中之重。基于深度學(xué)習(xí)技術(shù)的非機動車管控可最大程度地實現(xiàn)對城市各部門、各單位實時化動態(tài)管控，讓“粗放式管理”成為“精細(xì)化管理”，變“臨時突擊”為“長效管理”，使各部門、各單位真正地支持、投入和參與到非機動車管控建設(shè)管理中來，切實提升城市整體文明實力。