基于機器視覺的高速公路服務區(qū)違法上下客識別應用研究

王雋

安徽省交通運輸綜合執(zhí)法監(jiān)督局 安徽省合肥市 230051

近年來，高速公路服務區(qū)、收費站逐漸涌現(xiàn)出客運車輛違規(guī)上下客、倒客、甩客等違法行為，嚴重地影響交通秩序，帶來行李未經安檢、行人自由出入、翻越圍欄、橫穿高速公路等安全隱患，極易誘發(fā)致死、致傷的道路交通事故。違法上下客行為具有短時發(fā)生、取證追溯難等特征，傳統(tǒng)的現(xiàn)場巡檢方式需要耗費大量的人力、物力，且只具有短時監(jiān)管效應，導致打擊難度大、效率低，成為行業(yè)管理的痛點及難點。隨著信息技術與交通領域的不斷融合，采用技術+管理的手段實現(xiàn)服務區(qū)違法上下客稽查已成為當務之急。

現(xiàn)階段國外內學者在違法上下客的研究主要聚焦于車輛檢測、行人檢測、行人攜物特征識別。在車輛檢測方面，龍賽等提出一種改進YOLOv5s 網絡實現(xiàn)無人機視角下航拍圖像的車輛檢測任務，識別精度較YOLOv5s 網絡提升了5.5%。何俊龍通過MeanShift 跟蹤算法完成對前方已識別車輛的穩(wěn)定跟蹤。在行人檢測方面，賀藝斌等基于改進Faster-RCNN 算法，實現(xiàn)車載攝像頭下的多尺度行人檢測。J Hosang等應用了卷積神經網絡在行人探測上取得了非常好的性能。在行人攜物識別方面研究相對較少，張再軍從人體輪廓存在自身對稱性出發(fā)，研究實現(xiàn)了特定場景中對行人是否攜物的檢測，可識別出行人攜帶背包、手提包和行李箱三類物體。

目前高速公路服務區(qū)基本已實現(xiàn)全天候無死角的高位視頻監(jiān)控，為基于視頻檢測高速公路服務區(qū)違法上下客行為提供了良好的基礎條件。

因此，本研究基于服務區(qū)已有視頻監(jiān)控，采用深度學習算法進行車輛檢測、行人檢測、行人攜物檢測和違法上下客行為分析判別，研發(fā)一套基于機器視覺的違法上下客識別原型系統(tǒng)，實現(xiàn)違法上下客行為的檢測識別和違法抓拍，并在試點服務區(qū)得到良好應用，提升管理部門的執(zhí)法效率和智能化執(zhí)法水平。

1 違法上下客行為特征分析

高速公路服務區(qū)違法上下客行為檢測屬于動態(tài)目標的檢測與跟蹤范疇，本研究動態(tài)目標包括行人及車輛，因此涉及行人及車輛的檢測與跟蹤。

高速公路服務區(qū)違法上下客行為，與正常上下客行為相比，往往伴隨有如下特征：

（1）檢測到客車有停車行為；

（2）檢測到客車周邊檢測區(qū)域ROI 有行人聚集行為；

（3）檢測到在ROI 旅客具有提包、背包、拖行李箱等行為。

當在攝像機視場區(qū)域范圍內檢測到有以上幾種行為或動作時，即可判定為具有疑似違法上下客行為。

圖1 車輛檢測與跟蹤技術流程

圖2 行人檢測跟蹤與攜物識別

2 方案設計

本研究針對客運大巴車輛的違法上下客行為特征，利用高速公路服務區(qū)現(xiàn)有的視頻監(jiān)控資源，以車輛檢測、行人檢測為基礎，實現(xiàn)行人攜物的檢測識別。

2.1 車輛檢測與跟蹤

利用服務區(qū)已有視頻監(jiān)控，針對運動車輛特點，以客車特征為核心建立運動客車目標模型，基于Faster R-CNN 目標檢測算法和FSCT 運動目標跟蹤算法實現(xiàn)大客車車輛在服務區(qū)范圍內的全程穩(wěn)定檢測與跟蹤。

基于車輛的位置追蹤，根據(jù)服務區(qū)內大客車車輛停車位置，設定違法上下客檢測感興趣區(qū)域（ROI），為違法上下客行為檢測奠定基礎。同時，可基于車輛停車位置判別服務區(qū)非停車區(qū)域車輛違法停車行為，實現(xiàn)車輛違法停車的抓拍取證，便于執(zhí)法管理人員取證執(zhí)法及停車誘導。

2.2 行人檢測跟蹤及攜物識別

基于ROI 區(qū)域的設定，根據(jù)進、出區(qū)域與上、下客的匹配關系，定義區(qū)域內、外上下客目標行進方向，在此基礎上采用Codcbook 背景建模算法檢測ROI 區(qū)域中行人目標，并通過HOG 特征實現(xiàn)對行人目標的穩(wěn)定跟蹤。

人體骨骼關鍵點檢測是諸多計算機視覺任務的基礎，用于動作分類，行為識別，以及無人駕駛等，而本研究中違法上下客行為特征包含行人手臂提包、背包、拖行李箱等動作，因此行人攜物識別選取人體骨骼特征技術。

在ROI 區(qū)域行人目標跟蹤的基礎上，通過人體骨骼關鍵點檢測算法，判斷行人是否有拉行李、取行李的動作，實現(xiàn)行人攜物識別。

2.3 違法上下客行為的判別及處理

在客車車輛檢測與跟蹤、違法上下客行為檢測區(qū)域檢測到行人攜物特征，且攜物類型在預先設定的范圍內時，結合行人移動方向與車輛停靠位置的相對分析，判別違法上下客行為，算法將自動拍攝現(xiàn)場圖片及短視頻，進行違法取證，為管理部門非現(xiàn)場執(zhí)法提供依據(jù)。

圖3 疑似違法上下客行為判別

3 應用系統(tǒng)試點

3.1 高速公路服務區(qū)違法上下客檢測系統(tǒng)原型

針對上述的違法上下客檢測技術及流程，本研究開發(fā)了一套應用系統(tǒng)原型。包括前端嵌入式識別抓拍系統(tǒng)、后臺處理中心和應用系統(tǒng)，各組成部分通過專線網絡進行通信。

系統(tǒng)開發(fā)的技術要求：操作系統(tǒng)ubuntu 16.04；16G 及以上內存；4 核，2.4GHz 及以上主頻；500G 及以上硬盤；配置NVIDIA GTX1080Ti 或更高級別的英偉達顯卡的識別主機。

以無錫梅村服務區(qū)為應用試點，來驗證技術的可行性和落地性。

圖4 違法上下客檢測系統(tǒng)原型圖

3.2 實驗樣本采集

（1）技術要求

視頻安裝高度：6-8 米；

拍攝角度：30-60 度，視角最好在客車右側，保證車與人員全都在拍攝范圍；

像素：200 萬以上；分辨率≥1920*1080。

（2）樣本采集

在應用試點寧滬高速無錫梅村服務區(qū)進行了樣本數(shù)據(jù)的采集，為后續(xù)的算法應用研究提供訓練及測試樣本。部分實驗樣本如下：

圖5 違法上下客部分樣本數(shù)據(jù)

3.3 違法上下客檢測效果

通過實驗檢測結果顯示，在天氣晴朗、無視覺干擾、無背光或反光的應用條件下，對行人違法上下客的檢測率能達到95%以上，部分檢測結果如下：

圖6 系統(tǒng)違法上下客行人檢測部分效果圖

4 結論

本文利用機器視覺技術，基于違法上下客行為特征對服務區(qū)內車輛及攜物行人進行檢測識別，實現(xiàn)高速公路服務區(qū)違法上下客行為的自動檢測識別、自動抓拍取證和聯(lián)合稽查執(zhí)法等功能，并在試點得到有效應用。本研究探索了一種智能化、精準化稽查執(zhí)法新模式，為執(zhí)法管理部門提供完整、直觀的數(shù)據(jù)支撐，有力提升監(jiān)管水平和執(zhí)法效率。