孟鴻程
關鍵詞: 智慧交通 交通大數據 交通態勢 數據管理 生命周期
大數據時代的到來為交通管理帶來了巨大的機遇與挑戰,大數據一方面描繪了交通管理的美好愿景,打通多源異構交通數據,為政府管理、公民出行帶來便利,提升管理效能與出行體驗;另一方面交通大數據也面臨著發展的問題,如何匯聚多源異構交通數據、如何進行數據優化處理以實現交通應用。
國家高度重視交通大數據的發展,2015 年8 月,國務院印發《促進大數據發展行動綱要》,2019 年9 月,中共中央、國務院印發的《交通強國建設綱要》提出要“推進數據資源賦能交通發展”“構建綜合交通大數據中心體系”,2019 年12 月,交通運輸部印發《推進綜合交通運輸大數據發展行動綱要(2020—2025 年)》。
近年來,交通運輸大數據取得了長足發展,但對照國家要求和行業發展需求,還存在著數據資源基礎不夠扎實、數據共享開放需深入推進、大數據應用不夠廣泛、數據安全存在挑戰、管理體系尚需健全等問題,需要進一步深入推進解決。
該文通過分析交通大數據從采集、處理到應用的全生命周期過程,研究大數據在交通領域的應用,說明交通大數據的發展與應用現狀,同時分析交通大數據的發展方向。
1 交通大數據應用模式
大數據的廣泛定義來自其5V 屬性,即,Volume 數據量大、Variety 數據種類多、Value 數據價值密度低、Velocity 數據增長速度快、Veracity 數據準確性低。在交通領域,數據來源復雜,并且隨著時間不斷累積,最終形成海量多源的交通數據,具體包括公路、鐵路、航空、水運等多行業的設施、設備、人員、安全保障等基礎數據,還包括綜合交通網絡中人、車、路、環境等相互作用的關系數據[1]。
目前,大數據在交通領域的應用模式如下圖1 所示。數據從采集到處理直至最后的應用,首先通過多種形式的設備采集多源交通數據,之后對數據進行處理,建立相應的指標模型,最后實現交通大數據的應用。與此同時,還需要做好數據標準、數據安全與數據治理體系建設工作。
1. 1 數據采集
數據采集是交通大數據應用的基礎,通過數據采集獲取最原始的交通數據,為數據處理和數據分析與應用服務。高質量的原始數據能夠簡化后續的數據清洗工作,提高數據發揮價值與被有效利用的可能性[2]。交通數據類型多樣,數據采集設施也在不斷升級進化,為交通大數據應用提供了更多可能性。
1.1.1 數據源
交通大數據的數據源十分豐富,以城市交通領域為例,基于中國智能交通協會發布的城市交通時空大數據格式標準[3],數據分為城市交通基礎地理數據、城市交通設施數據、城市交通系統管理數據、城市交通系統運行狀態數據、城市交通系統智能感知數據、城市交通系統外關聯系統數據這幾大類型。這些數據的來源、數據類型、數據格式等都存在差異,如何綜合利用多源數據是交通大數據需要解決的問題。
1.1.2 數據采集設備
傳統數據采集設備多為單點式采集,數據的網絡連通性較差。隨著大數據與云計算技術的發展,交通領域的數據采集方式、數據類型越來越豐富,數據采集和傳輸效率、數據可獲取性愈發增強。以道路交通流數據采集為例,目前被廣泛應用的有感應線圈、地磁、微波、超聲波、紅外線、視頻、激光雷達與毫米波雷達等[4],它們都各有其適用場景和局限性。傳統檢測設備具備一定的優勢,但因為需求與技術的變化,其適用場景越來越少。以感應線圈檢測方法為例,這種方法技術成熟、效果較好且成本較低,但是需要埋入車道,且只能獲取交通流量信息。視頻識別技術盡管易受天氣影響,但是在圖像識別技術飛速發展的背景下,視頻能夠提供道路上更豐富的信息,因而愈發為交通管理者所青睞。目前,國內較為先進的攝像頭設備本身已具備AI 識別能力,并能夠輸出結構化數據。通過結合深度學習與計算機視覺技術,視頻能夠檢測車輛輪廓和形態、識別車牌與車身信息、檢測交通事件等[5]。
現如今,攝像頭被越來越多地與激光雷達以及毫米波雷達結合,雷視一體機被快速應用于道路交通檢測領域,尤其在車路協同等領域發揮了巨大的作用。數據采集設備根據不同的數據要求,在采集階段已經具備了數據處理能力,例如:攝像頭的圖像識別能力與雷視一體機的融合感知能力,它們不僅能夠輸出原始的視頻數據與雷達點云數據,還能夠基于其算法能力輸出結構化數據,更便捷地為數據應用服務,同時也能夠減少對帶寬的要求。
1. 2 數據處理與應用
盡管數據采集設備愈發先進,所采集的數據質量愈發受到重視,但原始數據仍然無法直接發揮作用,需要對數據進行處理和分析,才能最終實現應用。由于交通數據種類豐富,需要進行良好的數據管理,才能實現數據綜合運用,具體工作包括元數據管理、主數據管理、數據集成與互操作、數據模型管理和數據歸檔管理等。數據預處理的4 個主要任務是數據清洗、數據集成、數據變換和數據規約[6]。
交通大數據研究的最終目的是實現數據應用,在該階段,需要建立與實際情況相符合的交通指標與模型。統一標準的指標能夠直觀地展示交通運行水平,提供交通管理的優化方向。交通模型能夠有效提升對交通運行狀況的感知能力,從而提高交通管理能力,為提升交通安全與效率服務。基于交通大數據構建交通模型能夠結合動態變化數據,為解釋交通現象、城市活動的特性及其演化機理提供了重要的觀察手段與研究保障[7]。
2 大數據在交通領域的典型應用——交通態勢分析系統
交通大數據在交通領域中的一大典型應用是交通態勢分析系統。道路交通系統產生的海量數據蘊含著能夠準確描述復雜交通系統運行態勢的信息[8],交通態勢分析系統能夠利用實時道路交通運行數據實現道路交通運行狀態監測,系統對數據的實時性要求以及數據量的龐大決定了其交通大數據屬性,對大數據技術的需求較為顯著。
2. 1 交通態勢系統的數據處理
交通態勢分析系統需要獲取道路交通實時運行數據,為交通管理服務,需求方多為交通管理部門,其動態數據源一般是電警卡口數據,靜態數據則包括設備信息、設備與車道關聯信息和地圖數據等。實現數據之間的關聯需要進行數據表結構的設計與接口設計,之后利用大數據技術組件進行數據處理。
系統利用Flume 日志采集組件獲取海量多源交通數據,通過Kafka 消息隊列輸出至Flink 進行實時計算,實現對交通的實時監測,并將交通實時數據存儲至Redis、HBase、ES 和MySQL 等數據庫中,實現不同的數據應用。而利用Spark 的彈性分布式數據集RDD 與機器學習算法,可以實現交通預測等能力。在大數據領域,Flume 是一種被廣泛使用的日志收集組件,它是一種分布式、可靠和可用的服務,能夠高效收集、聚合、移動不同數據源的海量日志數據,并存儲到一個中心化數據存儲系統中[9]。Kafka 是一個分布式的發布/訂閱系統,它可以被作為消息中間件用于流式數據分析,從而確保交通大數據的實時應用能力。Flink 是一個分布式計算框架,能夠實現數據流的實時處理,保證了流計算的低延遲。而基于Spark 進行機器學習與深度學習能夠實現更好的分布式訓練和數據傳輸。
2. 2 交通態勢系統的數據應用
為了實現良好的數據應用,首先需要建立合理的交通數據指標和模型。在交通態勢分析領域,所關注的交通指標基本以GB/T 33171-2016[10]等國家和行業標準為參考,從路口、路段、道路和路網不同等級設定評價指標,例如路口平均延誤、路段交通運行狀況、道路和路網平均行程速度以及交通擁堵指數等。除了這些行業統一的指標外,基于數據建立交通模型也是一個重要方向,基于交通數據可以建立交通擁堵評價模型、交通仿真、擁堵預測等模型,為頂層的交通應用服務。
基于多源交通數據,應用大數據技術,交通態勢系統能夠實現交通運行監測、擁堵預警、交通信息發布、指揮調度等高實時性應用,也能夠實現車流分析、交通預測、信號優化和重點車輛監管等非實時性應用,此外,也可以提供檢索統計、交通報告等個性化應用。現階段,機器學習、深度學習等人工智能技術也更多地被應用于交通大數據領域[11],為交通擁堵識別、交通流預測等應用提供了新的應用方向。
3 交通大數據的發展方向
隨著技術的發展,交通大數據的數據來源愈發豐富,數據處理流程要求更高,數據應用領域更為廣泛,而這些都對交通大數據領域的從業者提出了更高的挑戰。
3. 1 交通大數據發展格局
交通大數據領域業已形成了政府統籌規劃、企業推動應用、高校技術支撐的整體格局。政府注重頂層設計,從宏觀視角調查分析交通大數據發展狀況,提出推動交通大數據發展的指導方法和意見。以交通運輸部印發的《推進綜合交通運輸大數據發展行動綱要(2020—2025 年)》[12]為例,綱要以黨中央關于國家大數據戰略部署和推進交通強國建設為指導,提出推動交通大數據發展的五大行動和21 項具體任務,各項任務分別指定交通運輸部屬下各司及各省級交通運輸主管部門負責,層層推進,逐步豐富和細化推動交通大數據發展的工作。
企業是市場的主體,也是切實推進交通大數據發展的中堅力量,在落實國家政策,推動交通大數據應用方面發揮著至關重要的作用。交通大數據從采集到處理分析直到應用的整個過程中,都需要依賴企業發揮作用,交通大數據的產業鏈包括智能交通設施、數據處理、智慧交通軟件研發等相關企業。
除了政府和企業需要發揮作用,高校等科研機構也在交通大數據領域發揮著重要作用。高校基于研究體系與經驗不斷深化交通大數據的研究,在現有技術的基礎上深入研究,拓寬技術邊界。同時也在標準和專利方面發揮著作用,通過與企業合作發揮科研優勢,校企融合促進應用。
3. 2 交通大數據發展方向
盡管交通大數據已經獲得了一定的發展,但仍然存在著一些亟待解決的問題,例如交通數據共享開放有待加強、數據管理和治理體系尚未完善、數據應用效果仍需提升等。這些問題需要依賴政府、企業、科研機構之間的共同合作,在交通大數據采集到應用的全生命周期開展建設與研究工作。
3.2.1 完善交通大數據標準體系
由于交通大數據覆蓋領域廣泛,從數據采集到數據應用涉及的參與方眾多,企業之間若無統一的標準,將會造成重復建設與資源浪費。如果要切實有效推進交通大數據發揮作用,需要構建和完善交通大數據標準體系。
構建交通大數據標準,應當推動硬件規格、產品開發、數據采集、數據存儲、數據傳輸、數據交換、數據處理、數據質量、數據安全、數據模型和系統架構等多個環節的標準建設工作。具體需要依靠相關社會組織和產業技術聯盟制定團體標準,并將其中具有廣泛適用性的標準升級為行業標準、地方標準直至國家標準,通過多級標準體系為交通大數據領域的發展建設提供指導。同時注重國際化發展,促進國內標準與國外標準的融合與借鑒,構建高效且廣泛適用的交通大數據標準。
完善交通大數據標準體系,對現有標準進行周期性梳理,開展實施情況評估與動態調整,對其中落后于現行發展狀況的標準進行修訂或廢止,同時結合發展需求確定新標準規劃方向。對于國家標準,需要強化強制性標準“保基本、兜底線”的作用和技術法規地位[13],優化提升推薦性標準。此外,還需要促進交通大數據標準與交通行業及大數據領域相關標準的協調銜接,促進國家標準、地方標準、行業標準之間的協調銜接。
3.2.2 加強交通大數據全生命周期管理
(1)強化數據采集。數據采集是交通大數據發展的基礎,為推動交通大數據發展,需要強化數據采集工作。應當加強基礎設施建設,包括數據采集設備與通信傳輸設備。將基礎設施建設與交通工程建設結合到一起,在新建和優化的交通基礎工程中完成數據采集相關設施建設工作。對于已建設設施,需要監測設備運行情況,保證已有設備正常采集與傳輸數據,并根據數據需求實現升級換代。數據采集基礎設施將逐步提升智能化水平,設備端將會集成更成熟的數據處理方法及交通算法,并且可以實現自動化采集與傳輸。
(2)完善數據管理體系。數據管理涉及領域眾多,包括數據治理、數據架構、數據建模和設計、數據存儲和操作、數據安全、數據集成和互操作、文件和內容管理、參考數據和主數據、數據倉庫和商務智能、元數據和數據質量等。在交通大數據領域,還未系統性地開展這些數據管理工作,因此需要完善交通大數據管理體系,以保證數據在采集、轉換、存儲和應用全流程的完整和準確,從而為數據應用提供支撐。
數據管理中,數據安全是其中至關重要的一環,能夠確保對數據資產的適當訪問,防止未經許可的非法訪問,確保公民隱私得到保護。為此,在交通大數據的發展過程中,應當牢牢把握數據安全,構建交通大數據安全保障體系,具體工作包括識別數據安全需求、制定并完善數據安全制度、定義并分配數據保密等級和數據監管類別等。
現階段,交通大數據管理的一個突出問題是數據資源共享和開放水平不足,各地區之間、政府部門之間暫未形成高效統一的數據共享機制,信息孤島現象明顯。隨著國家推進交通大數據共享開放,未來交通領域的數據融合與開放創新程度將顯著提升。政府部門之間的數據融合將有效推動交通大數據的創新應用,交通數據集的逐步開放也將為交通大數據領域的學術與課題研究帶來新的發展動能。
(3)深化數據綜合應用。交通大數據的發展最終是為了服務于所有交通參與者,因此需要不斷深化交通大數據應用,具體包括完善和推廣現有應用、發展和強化關鍵應用、促進和試點創新應用。
交通大數據現有應用中,相對成熟的有交通運行監測調度中心(Transportation Operations CoordinationCenter,TOCC)和交通態勢分析評價系統,這些系統已經應用了較長時間,但在覆蓋的地域范圍上相對有限,尤其是TOCC 所覆蓋的城市屈指可數。未來,應當不斷完善現有交通大數據應用,提升應用效果,并推動已有應用在各市、縣甚至區級行政區域的應用。
此外,還需要發展和強化交通大數據領域的關鍵應用,例如:發揮交通大數據在應急管理和指揮調度中的能力,構建應急管理大數據,把控交通運行態勢和資源分布,為應急管理服務。也有必要將大數據能力應用于交通運輸生產監測中,針對重點車輛、重點交通設施和重點領域的安全風險進行監控,提升安全水平。
對于交通大數據領域的創新應用,更是需要通過試點等方式促進其發展,例如:出行即服務(MaaS,Mobility as a Service)模式,需要打通共享單車、公交、出租、地鐵和航空等多種交通運輸方式,需要利用大數據優化交通出行供給方的服務形式、了解交通參與方的支付意愿等。
4 結語
該文結合交通大數據全生命周期流程分析了交通大數據的應用模式,并結合交通態勢分析系統說明了大數據在交通領域的具體應用,最后分析了交通大數據的發展格局以及未來的發展方向,應當完善標準體系、強化數據采集、完善數據管理體系、深化數據應用。現階段,智能交通和大數據技術仍在發展過程中,需要結合更先進的技術,依靠政府、企業、科研院所的合作,共同推動交通大數據的發展應用,為交通參與者帶來更多便利。