車載視覺分析技術在市容秩序場景中的應用

肖林龍 姜悅濤 陳立堅

(1.成都市城市管理科學研究院；2.成都市城市管理委員會)

隨著改革開放的深入推進和城市現代化建設的快速發展，城市管理工作面臨越來越大的壓力和挑戰，違規店外經營、占道經營、打包垃圾、無照經營游商、共享單車亂停放等“城市病”日益突顯。傳統的城市管理手段愈發難以滿足城市現代化發展需要，雖然國內各地城市均組建了人員規模較大的城市管理大隊,并結合固定監控攝像頭進行線上視頻巡查，在一定程度上提高了問題發現效率，但是固定監控攝像頭視角范圍有限,難以監控背街小巷等城市管理案件的高發區域,并且人工觀看監控視頻的方式不僅耗時,而且極易疲勞造成誤判。另一方面，車載移動視頻監控作為21 世紀快速發展的一種數字監控技術。只要視頻源或接收端設備具有移動能力,就可稱之為移動監控[1]。主要基于移動流媒體、視頻壓縮、4G 或5G 信號傳輸等技術,實現無線視頻傳輸及視頻的在線觀看和操作等需求。車載移動視頻監控彌補了固定點位監控視頻的不足,增加了視頻監控的靈活性[2]。隨著深度學習、計算機視覺、邊緣計算[3]等人工智能技術的不斷成熟和完善，城市管理手段、管理模式、管理理念的創新迎來了新的思路。開展車載移動視覺分析技術在城市管理場景中的應用研究，探索利用人工智能技術實現對“違規店外經營、占道經營、打包垃圾、無照經營游商、共享單車亂停放”等市容秩序問題自動識別告警，彌補日常工作中人工巡查的短板，大幅提高城管部門對城市管理問題的及時發現和實時處置能力，對城市管理數字化轉型升級具有重要實用價值。

1.AI 視覺技術與需求分析

AI 視 覺 技 術(Artificial Intelligence Computer Vision，AICV)是研究如何讓機器“看見”的科學，常用的AI 視覺分析技術包括目標檢測[4]、圖像分類、目標跟蹤、圖像分割等。其中，目標檢測是指在圖像或視頻中檢測出特定目標的位置和大小；圖像分類是指將圖像劃分為不同的類別；目標跟蹤是指在視頻中跟蹤目標的運動軌跡；圖像分割是指將圖像分割成不同的區域或物體。

綜合城市管理部門應用需求和研究現狀，本文搭建的市容秩序車載視覺分析平臺應滿足以下要求:一是實現違規圖像自動采集。對城市管理違規店外經營、占道經營、打包垃圾、無照經營游商、共享單車亂停放等常見違規行為抓拍，采集準確率不低于80%，采集的圖片分辨率不低于1080×720，采集的信息中包含GPS 地址信息；二是違規信息自動存儲。實時將數據上傳至市容秩序車載視覺分析平臺，同時具有斷點續傳功能；三是違規信息在線查看與審核。平臺能夠滿足在線分類查看或查詢各類城市管理問題，并具有人工審核功能，通過人機交互不斷提升平臺視覺分析能力。

2.平臺架構和功能設計

2.1 設計思路

針對城市管理領域的特點和應用需求，本文主要采用目標檢測和圖像分類兩種技術，以實現對車載移動場景下的市容秩序問題自動識別告警，具體設計思路為：圖像采集、圖像處理、特征提取[5][6]、目標檢測，利用基于深度學習的YOLO 和SSD 目標檢測算法[7]，對經過預處理和特征提取后的圖像進行特定目標的位置和大小檢測；五是圖像分類，使用支持向量機算法[8]將目標檢測圖像進行分類，例如車輛、行人、建筑等。

2.2 平臺架構

平臺由AIOT 設備管理層、標準化API 接口層、應用模塊層和安全防護體系四部分組成，其架構如圖1 所示。其中AIOT 設備管理層用于實現硬件設備管理，主要將高清視頻圖像采集設備和平臺聯通，提供數據流媒體服務；標準化API 接口層由場景感知、目標檢測和算法模型組成，用于實現對視頻數據流的分析識別，并針對每一種市容秩序場景封裝成對應API 接口，提供給應用模塊調用；應用模塊根據標準化API 接口封裝應用，主要實現全域感知、數據分析、歷史事件、案件中心和平臺管理等應用功能；安全防控體系主要包括設備接入安全、數據安全管理和系統安全管理。

圖1 市容秩序車載視覺分析平臺架構圖

2.3 平臺功能

系統具備四大功能。一是全域感知，實時對違規店外經營、占道經營、打包垃圾、無照經營游商、共享單車亂停放等常見違規行為自動采集，通過AIOT 設備管理層提供流媒體服務。二是數據分析，對通過標準化API 接口得到的每一種市容秩序違規行為進行統計分析，得到高發違規類型等指標數據。三是案件中心，對違規信息在線分類查看或查詢各類城市管理問題，并進行人工審核，通過人機交互不斷提升平臺視覺分析能力。四是平臺管理，提供車載終端停用、啟用、算法賦能、識別頻次等功能。

3.關鍵技術介紹

3.1 卷積神經網絡（CNNs）

當前主流的卷積運算是以卷積核共享的方式跨空間域執行，需要重復應用這些卷積運算，才能捕獲更有效的信息，例如采用更多的卷積核來增加通道數和深度。為了獲取更多的視覺元素特征，本文采用局部卷積策略，每個位置的特征用不同卷積核處理，這比標準卷積能夠更有效地提取空間特征。

3.2 YOLO 目標檢測算法

YOLO（You Only Look Once）目標檢測算法是一種基于圖像全局信息進行預測的目標檢測算法，它把目標檢測問題處理成回歸問題，用一個卷積神經網絡結構就可以從輸入圖像直接預測目標位置、大小和類別。自 2015 年由Joseph Redmon 等人提出初代模型[9]以來，領域內的研究者們已經對 YOLO 進行了多次更新迭代，模型性能越來越強大。本文采用的是由Chien-Yao Wang 等人在模型結構、重參數模塊、標簽分配方式、模型縮放上進行了改進而提出的YOLOv7 模型[10]，YOLOv7 能夠同時支持移動 GPU 和從邊緣到云端的 GPU 設備,在移動車載場景中能夠執行實時目標檢測，無論是從速度還是精度上，均超過了目前已知的所有檢測器。

3.3 安全管理技術

一是設備接入安全，前端監控設備接入視頻智能分析平臺時，采用虛擬專線或物理專線方式。且對所有接入視頻智能分析平臺的前端設備進行身份認證，身份認證基于公安機關頒發的數字身份證書，認證協議采用符合GB/T28181或GB35114 的認證協議。二是數據安全管理，重要視頻數據的簽名和加密符合GB35114 的規定。對其他重要的非視頻數據在傳輸和存儲過程中通過簽名、加密等措施進行完整性和機密性保護。三是系統安全管理，視頻智能分析平臺系統的物理安全和傳輸網絡安全符合GB/T22239 的相關規定。平臺對HTTP 請求，通過安全證書將傳輸數據加密，在通信過程中保證信息不會被竊取及篡改。

4.平臺實驗效果

4.1 場景選擇

針對城市管理領域的特點和應用需求，本研究針對違規店外經營、占道經營、打包垃圾、無照經營游商、共享單車亂停放五大場景開展實時檢測可行性研究，各實驗場景對應算法功能介紹如表1 所示。

表1 各實驗場景算法功能對應表

4.2 實驗結果

為驗證市容秩序車載視覺分析平臺的功能和性能，本研究于2022 年在成都市主城區進行了試點應用，分別驗證在白天、夜間、和一些復雜環境的抓拍效果，以及自動獲取違規事件的憑證是否清晰、準確地反映違法行為人、時間、地點、事實等客觀構成要素。實驗采用了基于YOLOv7 的目標檢測算法和支持向量機（SVM）的分類算法，對車輛、行人和建筑等目標進行了檢測和分類,圍繞“違規店外經營、占道經營、打包垃圾、無照經營游商、共享單車亂停放”五類高發市容秩序問題場景，進行了四個月的車載巡查實驗，并通過三次算法迭代升級部署，三次算法迭代部署識別正確率變化情況如表2 所示。

表2 三次算法迭代部署識別正確率變化情況

4.3 實驗結果分析

實驗發現，當車輛行駛速度高于50 km/h 時，視頻監控圖像逐漸模糊，無法進行車載視頻圖像的智能分析。考慮到城市管理問題多出現在居民居住區及大型商超集市周邊，其道路類型多為狹窄支路，道路限速規定一般限制在40km/h。本文最終將車速控制在30km/h 至40km/h 之間，經過三次優化模型參數以及對采集的數據進行人工審核打標簽，補充樣本數據，五種算法在白天、夜間和復雜環境下的準確率均值分別提升到87%、83%和80%，獲取的違規事件憑證清晰，能準確地反映違規行為人、時間、地點、事實等客觀構成要素。

5.總結及建議

5.1 總結

本文針對城市管理領域的特點和應用需求，圍繞“違規店外經營、占道經營、打包垃圾、無照經營游商、共享單車亂停放”市容秩序問題，設計并實現了一個市容秩序車載視覺分析平臺，通過實驗驗證，將車速控制在30km/h 至40km/h 之間，五種算法在白天、夜間和復雜環境下的準確率均值分別達到87%、83%和80%。獲取的違規事件的憑證清晰，能準確地反映違規行為人、時間、地點、事實等客觀構成要素。實驗結果表明，車載移動場景下AI 視覺分析技術可以有效地提高城市管理工作的效率和準確性，具有很好的實用性和可擴展性。

5.2 建議

基于本文研究成果，針對城市管理領域不同場景和不同目標的特點，建議持續優化和改進AI 視覺分析算法和模型，開發基于車聯網和5G 技術的車載設備，提高數據傳輸速度和帶寬，為AI 視覺分析提供更好的數據支撐。研究基于多模態數據融合的AI 視覺分析技術，將圖像、視頻、語音等多種數據形式融合起來，提高分析的全面性和準確性。完善AI 視覺識別結果在線閉環管理機制，探索搭建AI 視覺案件分析處置場景，實現城市管理問題智能化與自動化管理，有效節約人力資源，解決執法機關人力不足的問題，為探索城市智慧化管理提供新的路徑。