基于機(jī)器視覺(jué)的高速公路服務(wù)區(qū)違法上下客識(shí)別應(yīng)用研究

王雋

安徽省交通運(yùn)輸綜合執(zhí)法監(jiān)督局 安徽省合肥市 230051

近年來(lái)，高速公路服務(wù)區(qū)、收費(fèi)站逐漸涌現(xiàn)出客運(yùn)車輛違規(guī)上下客、倒客、甩客等違法行為，嚴(yán)重地影響交通秩序，帶來(lái)行李未經(jīng)安檢、行人自由出入、翻越圍欄、橫穿高速公路等安全隱患，極易誘發(fā)致死、致傷的道路交通事故。違法上下客行為具有短時(shí)發(fā)生、取證追溯難等特征，傳統(tǒng)的現(xiàn)場(chǎng)巡檢方式需要耗費(fèi)大量的人力、物力，且只具有短時(shí)監(jiān)管效應(yīng)，導(dǎo)致打擊難度大、效率低，成為行業(yè)管理的痛點(diǎn)及難點(diǎn)。隨著信息技術(shù)與交通領(lǐng)域的不斷融合，采用技術(shù)+管理的手段實(shí)現(xiàn)服務(wù)區(qū)違法上下客稽查已成為當(dāng)務(wù)之急。

現(xiàn)階段國(guó)外內(nèi)學(xué)者在違法上下客的研究主要聚焦于車輛檢測(cè)、行人檢測(cè)、行人攜物特征識(shí)別。在車輛檢測(cè)方面，龍賽等提出一種改進(jìn)YOLOv5s 網(wǎng)絡(luò)實(shí)現(xiàn)無(wú)人機(jī)視角下航拍圖像的車輛檢測(cè)任務(wù)，識(shí)別精度較YOLOv5s 網(wǎng)絡(luò)提升了5.5%。何俊龍通過(guò)MeanShift 跟蹤算法完成對(duì)前方已識(shí)別車輛的穩(wěn)定跟蹤。在行人檢測(cè)方面，賀藝斌等基于改進(jìn)Faster-RCNN 算法，實(shí)現(xiàn)車載攝像頭下的多尺度行人檢測(cè)。J Hosang等應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)在行人探測(cè)上取得了非常好的性能。在行人攜物識(shí)別方面研究相對(duì)較少，張?jiān)佘姀娜梭w輪廓存在自身對(duì)稱性出發(fā)，研究實(shí)現(xiàn)了特定場(chǎng)景中對(duì)行人是否攜物的檢測(cè)，可識(shí)別出行人攜帶背包、手提包和行李箱三類物體。

目前高速公路服務(wù)區(qū)基本已實(shí)現(xiàn)全天候無(wú)死角的高位視頻監(jiān)控，為基于視頻檢測(cè)高速公路服務(wù)區(qū)違法上下客行為提供了良好的基礎(chǔ)條件。

因此，本研究基于服務(wù)區(qū)已有視頻監(jiān)控，采用深度學(xué)習(xí)算法進(jìn)行車輛檢測(cè)、行人檢測(cè)、行人攜物檢測(cè)和違法上下客行為分析判別，研發(fā)一套基于機(jī)器視覺(jué)的違法上下客識(shí)別原型系統(tǒng)，實(shí)現(xiàn)違法上下客行為的檢測(cè)識(shí)別和違法抓拍，并在試點(diǎn)服務(wù)區(qū)得到良好應(yīng)用，提升管理部門的執(zhí)法效率和智能化執(zhí)法水平。

1 違法上下客行為特征分析

高速公路服務(wù)區(qū)違法上下客行為檢測(cè)屬于動(dòng)態(tài)目標(biāo)的檢測(cè)與跟蹤范疇，本研究動(dòng)態(tài)目標(biāo)包括行人及車輛，因此涉及行人及車輛的檢測(cè)與跟蹤。

高速公路服務(wù)區(qū)違法上下客行為，與正常上下客行為相比，往往伴隨有如下特征：

（1）檢測(cè)到客車有停車行為；

（2）檢測(cè)到客車周邊檢測(cè)區(qū)域ROI 有行人聚集行為；

（3）檢測(cè)到在ROI 旅客具有提包、背包、拖行李箱等行為。

當(dāng)在攝像機(jī)視場(chǎng)區(qū)域范圍內(nèi)檢測(cè)到有以上幾種行為或動(dòng)作時(shí)，即可判定為具有疑似違法上下客行為。

圖1 車輛檢測(cè)與跟蹤技術(shù)流程

圖2 行人檢測(cè)跟蹤與攜物識(shí)別

2 方案設(shè)計(jì)

本研究針對(duì)客運(yùn)大巴車輛的違法上下客行為特征，利用高速公路服務(wù)區(qū)現(xiàn)有的視頻監(jiān)控資源，以車輛檢測(cè)、行人檢測(cè)為基礎(chǔ)，實(shí)現(xiàn)行人攜物的檢測(cè)識(shí)別。

2.1 車輛檢測(cè)與跟蹤

利用服務(wù)區(qū)已有視頻監(jiān)控，針對(duì)運(yùn)動(dòng)車輛特點(diǎn)，以客車特征為核心建立運(yùn)動(dòng)客車目標(biāo)模型，基于Faster R-CNN 目標(biāo)檢測(cè)算法和FSCT 運(yùn)動(dòng)目標(biāo)跟蹤算法實(shí)現(xiàn)大客車車輛在服務(wù)區(qū)范圍內(nèi)的全程穩(wěn)定檢測(cè)與跟蹤。

基于車輛的位置追蹤，根據(jù)服務(wù)區(qū)內(nèi)大客車車輛停車位置，設(shè)定違法上下客檢測(cè)感興趣區(qū)域（ROI），為違法上下客行為檢測(cè)奠定基礎(chǔ)。同時(shí)，可基于車輛停車位置判別服務(wù)區(qū)非停車區(qū)域車輛違法停車行為，實(shí)現(xiàn)車輛違法停車的抓拍取證，便于執(zhí)法管理人員取證執(zhí)法及停車誘導(dǎo)。

2.2 行人檢測(cè)跟蹤及攜物識(shí)別

基于ROI 區(qū)域的設(shè)定，根據(jù)進(jìn)、出區(qū)域與上、下客的匹配關(guān)系，定義區(qū)域內(nèi)、外上下客目標(biāo)行進(jìn)方向，在此基礎(chǔ)上采用Codcbook 背景建模算法檢測(cè)ROI 區(qū)域中行人目標(biāo)，并通過(guò)HOG 特征實(shí)現(xiàn)對(duì)行人目標(biāo)的穩(wěn)定跟蹤。

人體骨骼關(guān)鍵點(diǎn)檢測(cè)是諸多計(jì)算機(jī)視覺(jué)任務(wù)的基礎(chǔ)，用于動(dòng)作分類，行為識(shí)別，以及無(wú)人駕駛等，而本研究中違法上下客行為特征包含行人手臂提包、背包、拖行李箱等動(dòng)作，因此行人攜物識(shí)別選取人體骨骼特征技術(shù)。

在ROI 區(qū)域行人目標(biāo)跟蹤的基礎(chǔ)上，通過(guò)人體骨骼關(guān)鍵點(diǎn)檢測(cè)算法，判斷行人是否有拉行李、取行李的動(dòng)作，實(shí)現(xiàn)行人攜物識(shí)別。

2.3 違法上下客行為的判別及處理

在客車車輛檢測(cè)與跟蹤、違法上下客行為檢測(cè)區(qū)域檢測(cè)到行人攜物特征，且攜物類型在預(yù)先設(shè)定的范圍內(nèi)時(shí)，結(jié)合行人移動(dòng)方向與車輛停靠位置的相對(duì)分析，判別違法上下客行為，算法將自動(dòng)拍攝現(xiàn)場(chǎng)圖片及短視頻，進(jìn)行違法取證，為管理部門非現(xiàn)場(chǎng)執(zhí)法提供依據(jù)。

圖3 疑似違法上下客行為判別

3 應(yīng)用系統(tǒng)試點(diǎn)

3.1 高速公路服務(wù)區(qū)違法上下客檢測(cè)系統(tǒng)原型

針對(duì)上述的違法上下客檢測(cè)技術(shù)及流程，本研究開(kāi)發(fā)了一套應(yīng)用系統(tǒng)原型。包括前端嵌入式識(shí)別抓拍系統(tǒng)、后臺(tái)處理中心和應(yīng)用系統(tǒng)，各組成部分通過(guò)專線網(wǎng)絡(luò)進(jìn)行通信。

系統(tǒng)開(kāi)發(fā)的技術(shù)要求：操作系統(tǒng)ubuntu 16.04；16G 及以上內(nèi)存；4 核，2.4GHz 及以上主頻；500G 及以上硬盤；配置NVIDIA GTX1080Ti 或更高級(jí)別的英偉達(dá)顯卡的識(shí)別主機(jī)。

以無(wú)錫梅村服務(wù)區(qū)為應(yīng)用試點(diǎn)，來(lái)驗(yàn)證技術(shù)的可行性和落地性。

圖4 違法上下客檢測(cè)系統(tǒng)原型圖

3.2 實(shí)驗(yàn)樣本采集

（1）技術(shù)要求

視頻安裝高度：6-8 米；

拍攝角度：30-60 度，視角最好在客車右側(cè)，保證車與人員全都在拍攝范圍；

像素：200 萬(wàn)以上；分辨率≥1920*1080。

（2）樣本采集

在應(yīng)用試點(diǎn)寧滬高速無(wú)錫梅村服務(wù)區(qū)進(jìn)行了樣本數(shù)據(jù)的采集，為后續(xù)的算法應(yīng)用研究提供訓(xùn)練及測(cè)試樣本。部分實(shí)驗(yàn)樣本如下：

圖5 違法上下客部分樣本數(shù)據(jù)

3.3 違法上下客檢測(cè)效果

通過(guò)實(shí)驗(yàn)檢測(cè)結(jié)果顯示，在天氣晴朗、無(wú)視覺(jué)干擾、無(wú)背光或反光的應(yīng)用條件下，對(duì)行人違法上下客的檢測(cè)率能達(dá)到95%以上，部分檢測(cè)結(jié)果如下：

圖6 系統(tǒng)違法上下客行人檢測(cè)部分效果圖

4 結(jié)論

本文利用機(jī)器視覺(jué)技術(shù)，基于違法上下客行為特征對(duì)服務(wù)區(qū)內(nèi)車輛及攜物行人進(jìn)行檢測(cè)識(shí)別，實(shí)現(xiàn)高速公路服務(wù)區(qū)違法上下客行為的自動(dòng)檢測(cè)識(shí)別、自動(dòng)抓拍取證和聯(lián)合稽查執(zhí)法等功能，并在試點(diǎn)得到有效應(yīng)用。本研究探索了一種智能化、精準(zhǔn)化稽查執(zhí)法新模式，為執(zhí)法管理部門提供完整、直觀的數(shù)據(jù)支撐，有力提升監(jiān)管水平和執(zhí)法效率。