多模態信息聯動的交通態勢感知平臺解決方案

王祥雪 林煥凱

（高新興科技集團股份有限公司，廣東廣州 510663）

隨著智能交通建設和應用的不斷深入，路網交通態勢感知逐漸引起學者的關注。商林政[1]指出交通態勢感知的數據主要包括卡口視頻抓拍數據、電子警察系統數據，以及地感線圈、微波檢測器等獲取的交通流量數據，并針對交通態勢的可視化方法進行了深入研究。李晨放等[2]公開了一種城市交通態勢感知及可視化方法，利用視頻識別、大數據分析、數據融合、互聯網、可視化等技術，實現多源交通數據的融合，并通過可視化界面將不同層面的反映城市交通態勢的參數于一張圖展示。孫強等[3]公開了一種基于大數據的城市交通態勢感知方法及預警系統，通過配合使用云服務平臺和探測單元，對影響城市道路交通的車流量、車隊長度、車速、車道占用和行車時間多種因素的數據進行采集，進行加權平均得出當前城市整體路段的交通態勢。劉博等[4]公開了一種交通運行態勢感知方法、模塊及系統，通過監測管控路網的交通流數據，獲取路網宏觀基本圖，基于加權密度和加權流量所處的位置區間確定管控路網的交通運行態勢。Wang等[5]和陳苑文等[6]分別研究了網絡數據和社交媒體數據對交通態勢感知的增強作用，探討了媒體數據如何支撐交通管控策略制定和管理規劃的工作。

目前，對于如何基于交通數據獲取全面的交通運行態勢并面向具體的交通業務展開融合應用的研究較少。因此，構建一個覆蓋城市較大范圍且實現全方位多級聯動的交通態勢感知平臺，仍缺乏成熟的技術和方案。

現有的交通態勢感知方案存在如下缺點：（1）數據分析缺少全局視野：很多交管部門的指揮大廳里通過大屏幕打造了全局監控視野，但是車輛信息識別和分析并沒有按照路網形成有效的串聯，難以從數據層面掌握路網交通運行的整體水平。（2）系統間缺少可視化聯動：同一個區域路網中的路段、交叉口監控視頻之間互相獨立、缺少關聯，無法進行串并聯分析，聯動效果差，難以支撐交通管制和應急指揮調度。

針對上述問題，本文主要從三方面展開研究：（1）研究面向大范圍路網的交通態勢感知平臺總體解決方案，融合應用深度學習、計算機視覺、圖像處理等理論和技術，構建從基礎數據感知到業務數據應用的整體流程；（2）研究系統級可視化聯動技術，實現車輛識別系統、高點視頻監控系統和雷視融合系統的坐標系融合，并根據車牌號碼進行多模態信息綁定，實現路網道路交通全面可視化聯動；（3）研究面向業務的大數據挖掘，以多模態交通運行大數據為依據，基于各子系統的分析結果，對車輛、交通事件、路段（交叉口）運行狀態進行串聯分析，從數據角度全面反映路網交通運行的整體情況。

在解決上述問題的基礎上，結合區域城市路網交通態勢感知試點應用，從各子系統的性能指標對本文所提出的交通態勢感知平臺進行綜合評價。

1 交通態勢感知平臺總體方案

本文提出的基于多模態信息融合的交通態勢感知平臺主要包含5個模塊，如圖1所示。

圖1 交通態勢感知平臺總體架構

（1）底層數據感知模塊：主要是指道路場景中所有視頻和雷達采集設備。（2）基礎數據分析模塊：主要包括雷視融合分析、車輛識別和交通事件檢測三個子系統，基于深度學習、計算機視覺和圖像處理等技術，對感知到的各類數據進行初步分析，并將結果向上傳輸。（3）多模態數據聯動：在統一各子系統坐標系的基礎上，對下層輸出結果進行融合和綁定，再通過高點球機視頻畫面實現多模態數據的聯動和交互。（4）業務數據挖掘：對路網全時段交通流量、速度進行統計，輸出交通量時空分布圖，進而識別關鍵路徑、道路結構瓶頸；擁堵判定并支撐交通事件快速處置和交通疏導；統計路口通行量、各方向排隊長度，進行紅綠燈配時優化；進行車輛大數據應用。（5）可視化數據應用：支持交通態勢信息的全方位可視化，高低、人機多維度多模態數據聯動，進而對重大活動安保和應急指揮調度提供有力支撐。

2 高點視頻畫面多模態數據聯動

2.1 接入子系統簡介

（1）車輛識別系統：通過部署在后端服務器中的深度學習視覺算法對卡口抓拍圖像進行分析，輸出車牌號碼、車牌屬性（車牌顏色、車牌類型）、車輛屬性（車輛品牌、年款、車身顏色、車輛類型等）、抓拍時間、車道號、抓拍地點等初步分析結果。（2）雷視融合分析系統：通過部署在邊側的智能計算設備對激光雷達、毫米波雷達和監控攝像頭采集的數據進行分析。通過分析攝像頭采集的視頻數據，對交通參與者（機動車、非機動車、人）進行定位和分類，并識別出機動車的車牌號碼；通過分析雷達點云數據，獲取每個目標的經緯度信息，對雷達和視頻的坐標系進行融合標定，輸出交通參與者的坐標和屬性信息。（3）交通事件檢測系統：通過部署在中點位置（高于卡口但低于高點球機）的攝像頭對道路監控視頻持續輪巡分析，主要檢測各類交通事件，生成事件信息及關聯視頻，并及時上報給交通管理部門。

2.2 多模態數據聯動

多模態數據聯動的核心和關鍵是基于車牌號碼的多維數據綁定和多個子系統的坐標系融合?；谏鲜鋈齻€子系統的輸出信息，數據聯動的流程如圖2所示。

圖2 高點視頻畫面多模態數據聯動實現方案

具體步驟為：（1）構建車輛識別系統、雷視融合分析系統、交通事件檢測和高點球機監控視頻的統一坐標平面；（2）基于車牌號碼將雷視融合分析系統的輸出信息和車輛識別系統的輸出信息進行綁定，獲得車輛基礎信息（車牌號碼、車輛屬性、行駛速度、經緯度坐標）；（3）針對機動車違法事件，對違法事件發生視頻截取保存，并將車牌號碼與事件信息進行綁定；（4）輸出車輛基礎信息和交通事件信息，實現高點視頻畫面中的多模態數據聯動。

多模態數據聯動的具體情形主要包括：（1）點擊高點視頻畫面中的運動目標，聯動顯示車輛基礎信息，是否涉及交通事件等；（2）點擊高點視頻畫面中的動態標簽，以畫中畫形式聯動中點球機、卡口的各個視頻監控和點云畫面，并實時顯示通過車輛的基礎信息、事件信息等；（3）點擊交通事件，聯動調閱機動車違法事件發生時的監控視頻，并顯示涉事車輛的基礎信息。

3 面向業務的交通大數據挖掘

3.1 交通態勢時空分布統計

基于交通態勢感知平臺的綜合感知，對覆蓋的路段和交叉口進行車輛計數，得到整個路網各個路段的交通流量，同時根據雷達測量的車輛行駛速度計算出路段行駛車輛的平均速度，從而得到路網內交通流量、通行速度等態勢的時空分布統計，從而抽象出路網交通運行的周期性的規律。

（1）關鍵路徑識別。一般情況下，路網中的關鍵路徑和主干道是一致的，但交通參與者的出行選擇往往是動態變化的，因此，只有通過基于全量數據統計的系統展現，才可發現路網覆蓋的所有的關鍵路徑。針對交通流量大、行駛速度緩慢的路段，進行交通管制和分流誘導，從而緩解區域通行壓力，提升整體通行效率。（2）道路結構瓶頸識別。通過時空分布圖可以直觀地了解路網內的擁堵情況，再結合相關交通事件的統計數據，可以快速確認擁堵產生的原因，如路口渠化不合理、匝道與地面緩沖長度不合理、快速路出入口不合理、交通信號燈位置不合理等。（3）交通信號燈配時優化?；谏衔牡穆肪W交通態勢時空分布，可直觀了解路口、路段的通行狀況和排隊長度，同時結合關鍵路徑、道路結構瓶頸等參數，即可對單點、干道甚至區域的交通信號燈進行聯合配時優化，從而提升區域路網的通行能力。

3.2 面向應用的車輛大數據挖掘

本文提出的交通態勢感知平臺不僅可以支撐宏觀交通管理決策的制定，同時也可以面向不同場景進行車輛大數據挖掘，例如面向刑偵研判的套牌車識別、晝伏夜出等車輛技戰法。

4 綜合評價指標

4.1 車輛識別子系統

車輛識別系統主要完成對車輛身份信息和屬性信息的識別，主要包括精確率（Precision）和召回率（Recall）兩個評價指標，車牌號碼和車輛屬性準確率均達到實戰級別，評價結果如表1所示。

表1 車輛識別系統精度 單位：%

4.2 雷視融合子系統

雷視融合子系統中的關鍵任務分別是對交通參與者進行定位追蹤和分類，結果如表2所示。其中，交通參與者包括大中型貨車、大巴、公交車、小車、出租車、二輪車、三輪車和行人共8個類別。

表2 雷視融合子系統性能指標

4.3 交通大數據挖掘

團隊在多個項目中試點完成了單點交叉口的紅綠燈配時優化，可輔助交通管理部門實現精細化的智能交通管理。在面向業務應用的交通大數據挖掘方面，實現了軌跡分析、關聯分析、套牌分析、初次進城、晝伏夜出等十多種車輛技戰法，幫助公安刑偵發現多起套牌車、假牌車事件。

5 結語

本文提出一種融合多模態信息的交通態勢感知平臺，通過構建車輛識別系統、雷視融合分析系統、交通事件檢測系統的統一坐標平面，實現基于車牌號碼的多模態車輛信息綁定，搭建全方位可視化聯動系統，實現了路網交通態勢時空分布統計，支持多類型交通管理業務數據的挖掘，進而有效提升城市道路通行效率，輔助加強重點車輛管理；同時對重大活動安保、應急指揮調度提供有力支撐，助力打造高水平智能交通管理系統。