喬波
南京萊斯信息技術股份有限公司 江蘇 南京 210000
面對日益嚴峻的城市交通管理形勢以及不斷提高的城市交通管理要求。交通管理部門對面日益增多的交通數據,如何運用大數據技術對海量交通數據進行分析,深度挖掘數據價值,為交通管理業務決策提供支撐,成為交通管理發展的重點。本文重點探討大數據技術在交通管理行業中的應用。
大數據技術核心意義在于對海量數據進行專業化處理,發掘數據價值,獲得數據盈利。大數據技術主要包括數據采集、數據存儲、數據處理、數據建模、數據分析、數據展示等能力。
(1)數據采集:數據采集是大數據的生命周期中的第一個環節,通過MapReduce等軟件工具,搭建相關采集平臺,采集各類多元異構的數據。
數據采集涵蓋常見的數據庫數據表、視圖和數據接口等結構化數據的存儲,以及照片、視頻、音頻等非結構數據的存儲,通過數據源管理、任務調度、任務監控等功能實現數據全方位數據采集和數據清洗。
(2)數據存儲:大數據存儲根據不同的數據采用不同的技術路線,具體分為三種:結構化、半結構化和非結構化數據。
應根據實際業務需要,建立符合業務需要的標準數據資源目錄及數據專題目錄。數據完成采集后將保存至符合其業務邏輯的數據資源目錄下,便于數據資源的保存、管理以及為后期的數據資源開放提供堅實的基礎。
(3)數據處理:在數據存儲的基礎上,對多個異構的數據集進行清洗、轉換,生成新的數據集,為后續數據分析、數據挖掘提供支撐。
(4)數據建模:在數據處理的基礎上,根據業務應用,建立對應的數據分析模型,為數據分析提供支撐。
(5)數據分析:對數據建模基礎上,進行假設檢驗、差異分析、相關分析、因子分析、聚類分析、快速聚類法與聚類法、判別分析等,分析海量數據的規律以及數據間的關聯關系。
(6)數據展示:運用圖表、圖形、3D模型、時空演變等方式,動態展示數據分析后的結果。
交通管理行業歷經數十年的發展,目前大部分城市的交通感知體系已基本建設完成,每天產生海量的城市交通數據,數據來源對象廣泛、數據種類繁多。
首先,交通整體數據體量巨大,其中一二線城市數據體量已達PB級別,省級數據體量甚至達到EB、ZB級別。其次,交通管理數據種類繁多,主要分為結構化、半結構化和非結構化數據。再次,除了采集交通管理內部數據外,近年來也開始接入其他部門和交通相關的數據,如交通運輸、公安部門數據。
面對海量的多元異構數據,傳統數據采集、處理、分析等技術已經無法應對,制約了交通規劃、信號優化、違法抓拍等交管業務的進一步發展。運用大數據技術,采集海量交通數據,在此基礎上結合交通管理業務,進行處理、建模、分析、展示,為交通管理單位業務決策提供支撐,讓管理單位對未來趨勢有掌握,促進交通管理水平的全面提升[1]。
隨著城市卡口數量的增多,每分鐘車輛采集數據也隨之增多,大中型城市高峰時期,每分鐘過車可達10萬次以上。
運用大數據技術,對海量過車數據實時采集、存儲的同時,和城市車輛布控庫、黑名單庫、盜搶庫等進行實時對比,實現每分鐘億次級別的分析,為交通管理部門發現嫌疑車輛、布控車輛。
在與實時數據進行對比的同時,大數據技術還能和歷史數據進行對比分析,深度挖掘嫌疑車輛,為車輛實時布控報警、套牌分析、黑車分析、落腳點分析等業務需求提供技術支持。
隨著路口交通設備增多(視頻、卡口、各類檢測器),互聯網數據的接入,城市路口交通信息種類越來越豐富,數據量越來越大。如何融合、分析路口各類數據,優化路口配時方案,為區域級交通信號管控服務,成為交管業務的重點。
面對路口多源異構的海量數據,運用大數據技術,提取海量路口實時信息,對數據進行清洗、融合,結合歷史數據進行分析,提供完善的路口配時方案,為路口、路線甚至區域級交通信號管控業務提供技術支持。
目前省級交通違法、事故數據將近十億,且用傳統Oracle數據庫進行存放,查詢統計耗時及長,傳統數據分析方式難以對其進行分析挖掘。
利用大數據技術,融合省級海量違法、事故、駕駛人、機動車數據,對數據進行清洗、融合、挖掘分析,分析數據規律以及數據之間的關聯,形成源頭監管、風險隱患、違法高發、事故高發等業務專題,為省級交通管理違法、事故業務開展提供數據支持。
傳統違法檢測技術,只能檢測機動車闖紅燈、違停、路口變道等少量違法行為,難以滿足現在交通管理需要。
運用大數據技術在傳統檢測的基礎上,還可以分析車輛套牌、拋灑、非機動車、行人違法,同時還能實現車輛細節檢測、目標跟蹤等功能。解決了交通事件識別困難、識別率低等業務難點,為交通管理者提供了豐富準確的交通事件信息,為指揮調度、輔助決策等業務提供數據支撐。
將大數據技術與交警內控管理相結合,圍繞“主動防控”,針對勤務與接處警,通過數據異常主動識別警員不合規行為,進一步加強執法規范化建設和隊伍正規化建設,切實強化執法過程監督,充分發揮“數據”的作用,通過數據自動比對、全面考核、實時監管、智能預警,進一步提高交通管理的效率和安全性,提升城市品位和交通管理水平,在全社會營造文明執法、科技執法、規范執法的良好氛圍,把路面執法管理工作做得更實、更細、更好。
大數據技術擁有傳統技術無法比擬的數據采集、處理、分析等能力,通過和交管業務的緊密結合,在交通海量數據價值分析挖掘方向應用廣泛、效果良好。未來需要不斷提升大數據技術的各項能力,同時結合人工智能等技術,更好的挖掘交通數據價值,為交通管理決策提供更好的支撐,推動交通管理行業的進一步發展。