基于機器視覺的高速公路服務區違法上下客識別應用研究

王雋

安徽省交通運輸綜合執法監督局 安徽省合肥市 230051

近年來，高速公路服務區、收費站逐漸涌現出客運車輛違規上下客、倒客、甩客等違法行為，嚴重地影響交通秩序，帶來行李未經安檢、行人自由出入、翻越圍欄、橫穿高速公路等安全隱患，極易誘發致死、致傷的道路交通事故。違法上下客行為具有短時發生、取證追溯難等特征，傳統的現場巡檢方式需要耗費大量的人力、物力，且只具有短時監管效應，導致打擊難度大、效率低，成為行業管理的痛點及難點。隨著信息技術與交通領域的不斷融合，采用技術+管理的手段實現服務區違法上下客稽查已成為當務之急。

現階段國外內學者在違法上下客的研究主要聚焦于車輛檢測、行人檢測、行人攜物特征識別。在車輛檢測方面，龍賽等提出一種改進YOLOv5s 網絡實現無人機視角下航拍圖像的車輛檢測任務，識別精度較YOLOv5s 網絡提升了5.5%。何俊龍通過MeanShift 跟蹤算法完成對前方已識別車輛的穩定跟蹤。在行人檢測方面，賀藝斌等基于改進Faster-RCNN 算法，實現車載攝像頭下的多尺度行人檢測。J Hosang等應用了卷積神經網絡在行人探測上取得了非常好的性能。在行人攜物識別方面研究相對較少，張再軍從人體輪廓存在自身對稱性出發，研究實現了特定場景中對行人是否攜物的檢測，可識別出行人攜帶背包、手提包和行李箱三類物體。

目前高速公路服務區基本已實現全天候無死角的高位視頻監控，為基于視頻檢測高速公路服務區違法上下客行為提供了良好的基礎條件。

因此，本研究基于服務區已有視頻監控，采用深度學習算法進行車輛檢測、行人檢測、行人攜物檢測和違法上下客行為分析判別，研發一套基于機器視覺的違法上下客識別原型系統，實現違法上下客行為的檢測識別和違法抓拍，并在試點服務區得到良好應用，提升管理部門的執法效率和智能化執法水平。

1 違法上下客行為特征分析

高速公路服務區違法上下客行為檢測屬于動態目標的檢測與跟蹤范疇，本研究動態目標包括行人及車輛，因此涉及行人及車輛的檢測與跟蹤。

高速公路服務區違法上下客行為，與正常上下客行為相比，往往伴隨有如下特征：

（1）檢測到客車有停車行為；

（2）檢測到客車周邊檢測區域ROI 有行人聚集行為；

（3）檢測到在ROI 旅客具有提包、背包、拖行李箱等行為。

當在攝像機視場區域范圍內檢測到有以上幾種行為或動作時，即可判定為具有疑似違法上下客行為。

圖1 車輛檢測與跟蹤技術流程

圖2 行人檢測跟蹤與攜物識別

2 方案設計

本研究針對客運大巴車輛的違法上下客行為特征，利用高速公路服務區現有的視頻監控資源，以車輛檢測、行人檢測為基礎，實現行人攜物的檢測識別。

2.1 車輛檢測與跟蹤

利用服務區已有視頻監控，針對運動車輛特點，以客車特征為核心建立運動客車目標模型，基于Faster R-CNN 目標檢測算法和FSCT 運動目標跟蹤算法實現大客車車輛在服務區范圍內的全程穩定檢測與跟蹤。

基于車輛的位置追蹤，根據服務區內大客車車輛停車位置，設定違法上下客檢測感興趣區域（ROI），為違法上下客行為檢測奠定基礎。同時，可基于車輛停車位置判別服務區非停車區域車輛違法停車行為，實現車輛違法停車的抓拍取證，便于執法管理人員取證執法及停車誘導。

2.2 行人檢測跟蹤及攜物識別

基于ROI 區域的設定，根據進、出區域與上、下客的匹配關系，定義區域內、外上下客目標行進方向，在此基礎上采用Codcbook 背景建模算法檢測ROI 區域中行人目標，并通過HOG 特征實現對行人目標的穩定跟蹤。

人體骨骼關鍵點檢測是諸多計算機視覺任務的基礎，用于動作分類，行為識別，以及無人駕駛等，而本研究中違法上下客行為特征包含行人手臂提包、背包、拖行李箱等動作，因此行人攜物識別選取人體骨骼特征技術。

在ROI 區域行人目標跟蹤的基礎上，通過人體骨骼關鍵點檢測算法，判斷行人是否有拉行李、取行李的動作，實現行人攜物識別。

2.3 違法上下客行為的判別及處理

在客車車輛檢測與跟蹤、違法上下客行為檢測區域檢測到行人攜物特征，且攜物類型在預先設定的范圍內時，結合行人移動方向與車輛停靠位置的相對分析，判別違法上下客行為，算法將自動拍攝現場圖片及短視頻，進行違法取證，為管理部門非現場執法提供依據。

圖3 疑似違法上下客行為判別

3 應用系統試點

3.1 高速公路服務區違法上下客檢測系統原型

針對上述的違法上下客檢測技術及流程，本研究開發了一套應用系統原型。包括前端嵌入式識別抓拍系統、后臺處理中心和應用系統，各組成部分通過專線網絡進行通信。

系統開發的技術要求：操作系統ubuntu 16.04；16G 及以上內存；4 核，2.4GHz 及以上主頻；500G 及以上硬盤；配置NVIDIA GTX1080Ti 或更高級別的英偉達顯卡的識別主機。

以無錫梅村服務區為應用試點，來驗證技術的可行性和落地性。

圖4 違法上下客檢測系統原型圖

3.2 實驗樣本采集

（1）技術要求

視頻安裝高度：6-8 米；

拍攝角度：30-60 度，視角最好在客車右側，保證車與人員全都在拍攝范圍；

像素：200 萬以上；分辨率≥1920*1080。

（2）樣本采集

在應用試點寧滬高速無錫梅村服務區進行了樣本數據的采集，為后續的算法應用研究提供訓練及測試樣本。部分實驗樣本如下：

圖5 違法上下客部分樣本數據

3.3 違法上下客檢測效果

通過實驗檢測結果顯示，在天氣晴朗、無視覺干擾、無背光或反光的應用條件下，對行人違法上下客的檢測率能達到95%以上，部分檢測結果如下：

圖6 系統違法上下客行人檢測部分效果圖

4 結論

本文利用機器視覺技術，基于違法上下客行為特征對服務區內車輛及攜物行人進行檢測識別，實現高速公路服務區違法上下客行為的自動檢測識別、自動抓拍取證和聯合稽查執法等功能，并在試點得到有效應用。本研究探索了一種智能化、精準化稽查執法新模式，為執法管理部門提供完整、直觀的數據支撐，有力提升監管水平和執法效率。