大數據處理技術在智能交通中的應用

孫靜

摘要：物聯網、智能終端技術的發展使得各行業領域的數據飛速地積累及增長，數據的價值也越來越受到重視.在智能交通領域，傳統的交通檢測和以滴滴、百度等互聯網公司開放的基于位置信息的軌跡數據形成了諸多結構化、非結構化和半結構化的交通大數據.本文從大數據及其相關方法發展分析入手，結合交通大數據和智能交通控制的原理及其對數據的需求，闡述了大數據尤其是軌跡大數據為智能交通控制帶來的新視角和新策略，并對車路協同、無人駕駛環境下的交通控制發展做出了展望.

關鍵詞：大數據;智能交通控制;軌跡數據;車路協同

中圖分類號：TP274;U116.1 ?文獻標識碼：A ?文章編號：1673-260X（2019）05-0052-05

1 引言

物聯網及智能終端技術的發展引發了各行業領域的數據飛速地積累及增長，數據的價值越來越受到重視.從科學研究領域到產業應用領域，都逐漸意識到大數據是挖掘有效信息和知識，推進“互聯網+”和人工智能戰略發展的重要組成部分.同時隨著智慧城市的建設，信息采集基礎設施逐步完善，人類活動產生的數據也越來越多，數據總量也將從現在的GB、TB逐步增長到PB甚至EB級.同時，信息交換頻度也越來越快.在1分鐘內，Google就有200萬次的搜索查詢，Facebook有68萬條帖文;百度每天要處理60億次搜索請求，新增10TB，處理超過100PB的數據，產生一個TB的日志，而騰訊QQ和微信的用戶數據經壓縮后每天的總量要超過100PB[1].在城市交通領域，以大連市2017年的統計數據為例，交通流量的采集數據每月增長約3億條，交警業務數據（車駕管、非現場違法、事故處理）等數據每月的增長量約為1500萬條，而卡口、電警的車牌識別數據、車輛照片、視頻監控數據每月的增長量分別為1.5億條、60TB和1050TB.除傳統的線圈、地磁、視頻、卡口等檢測數據外，以滴滴、百度等為代表的互聯網公司逐步向各地交管部門開放其路況、脫敏后的車輛軌跡數據等，這些數據有著更大的覆蓋范圍、更長的存儲周期等特點.為城市道路交通狀態感知，交通事件發現、演變及影響分析，智能交通控制，交通出行信息服務等方面提供了比以往更有力的數據支撐.

大數據是新資源、新技術和新理念的混合體.帶來了全新的資源觀和思維角度，提供了新的分析技術.如何利用好大數據尤其是交通大數據的潛在價值，為智能交通系統的發展提供更好的支撐非常值得深入研究和分析.本文首先闡述了大數據的定義、特征及大數據分析方法和常用技術.其次，分析了交通大數據的特征和分類，簡述了目前各類交通數據在城市智能交通系統中的支撐應用，并對當前交通數據可視化的研究進行了分析.最后對交通大數據，尤其是軌跡大數據在智能交通控制中的應用給予研究和探討，進一步對車路協同和無人駕駛車輛運行環境下的智能交通控制系統做出了展望.

2 大數據技術

2.1 大數據定義

什么是大數據？目前還沒有公認、統一的定義.維基百科對大數據的定義為：大數據是指利用常用軟件工具捕獲、管理和處理數據所耗時間超過可容忍時間的數據集.即大數據是一個體量特別大，數據類別特別大的數據集，并且這樣的數據集無法用傳統的數據庫工具對其內容進行抓取、管理和處理[2].但大數據不僅僅指數據的體量大，Gartner（2012）將大數據定義為體量巨大、數據更新速度快、數據種類豐富多樣的數據集，大數據處理的時效性和方法相比于傳統的數據來說也頗具挑戰.全球知名咨詢公司麥肯錫在報告中稱“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素.人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來”.總之，大數據不僅僅是一個商業術語，對于不同的行業領域，面向不同的業務需求，大數據有著不同的含義和意義.

2.2 大數據分析方法

大數據中蘊含著寶貴價值，是人們存儲和處理大數據的驅動力.要挖掘大數據的價值就必然要對大數據進行內容上的處理、計算和分析.大數據時代促進了數據分析方法的變革與創新，其與傳統基于數理統計的方式相比主要有三方面的轉變，即要全體不要抽樣，要效率不要絕對精確，要相關不要因果[3].

要挖掘大數據的價值必然要對大數據進行內容上的分析和計算.機器學習，深度學習和知識計算是大數據分析的基礎，數據可視化既是數據分析的關鍵技術也是數據分析結果呈現的關鍵技術.機器學習是人工智能的一個核心研究領域，指計算機利用經驗改善系統自身性能的行為[4]，包括監督學習、半監督學習和無監督學習.大數據分析的核心是利用數據的價值，而機器學習是挖掘和利用數據價值的關鍵技術.對于機器學習而言，大量的數據可以提高訓練模型的精確性，而復雜的機器學習算法也需要分布式計算和內存計算等大數據處理技術，機器學習和大數據相互依存、相互促進.深度學習是機器學習的進階，是利用層次化的架構學習出對象在不同層次上的表達，可以幫助解決更加復雜抽象的問題.深度學習在語音識別、圖像處理、機器翻譯及自然語言理解等應用領域取得了一系列重大進展.知識計算是國內外工業界開發和學術界研究的一個熱點.要對數據進行高端分析，就需要從大數據中先抽取出有價值的知識，并把它構建成可支持查詢、分析和計算的知識庫.支持知識計算的基礎就是構建知識庫，包括3個部分，即知識庫的構建、多源知識的融合與知識庫的更新.數據的查詢和分析的實用性和實效性對于人們能否獲得決策信息起著至關重要的作用，決定著數據應用的成敗[5].除此之外，信息和數據的表達也至關重要.大數據的可視化，不同于傳統的信息可視化，面臨的最大一個挑戰就是規模，如何提出新的可視化方法能夠幫助人們分析大規模、高維度、多來源、動態演化的信息，并輔助做出實時的決策，成為這個領域最大的挑戰.

總而言之，大數據處理和分析的終極目標是借助于對數據的理解輔助人們在各類應用中做出合理的決策.在此過程中，深度學習、知識計算和可視化起到了相輔相成的作用.機器學習及深度學習可以提高數據分析模型的精度，知識計算可以增加數據挖掘的深度，社會計算可以提升系統的認知能力，而強可視化輔助決策更是在大數據發揮著重要的作用.

2.3 大數據技術框架

根據大數據處理的生命周期，大數據的技術體系涉及大數據的采集與預處理、大數據存儲與管理、大數據計算模式與系統、大數據分析與挖掘、大數據可視化分析及大數據隱私與安全等幾個方面[6-8].圖1是大數據技術的主要架構示意：

在數據采集層面，大數據的一個重要特點就是數據源多樣化，包括數據庫、文本、圖片、視頻、網頁等各類結構化、非結構化和半結構化的數據.因此大數據處理的第一步就是多源數據的采集、預處理和集成操作.現有數據抽取和集成方式可以分為以下4種類型[9]：基于物化或ETL引擎方法、基于聯邦數據庫引擎或中間件方法、基于數據流引擎方法和基于搜索引擎方法.數據經清洗、預處理后存入到分布式數據存儲系統中，成為數據挖掘的基礎.

大數據對于存儲系統帶來的挑戰主要包括存儲規模巨大、存儲結構復雜及數據服務提供要求高等.大數據存儲系統面向的數據總量一般達TB、PB甚至EB級，且包括結構化、非結構化、半結構化的數據，數據之間的關聯關系也較為復雜.同時由于現在技術驅動的發展，信息處理的實時性要求很高.目前大數據存儲方面的代表性研究和技術主要有分布式緩存（mem-cached等）、分布式數據庫（HDFS等[10]）及各種NoSQL分布式存儲方案（Redis、MongoDB等）.

大規模計算模式指根據大數據的不同數據特征和計算特征，從多樣性的大數據計算問題和需求中提煉并建立各種高層抽象或模型，它的出現有力推動了大數據技術的應用和發展.目前已經有很多典型的大數據計算模式和對應的大數據計算系統和工具，典型的計算模式和系統工具如圖2所示.

離線計算指在計算開始之前，已知所有輸入數據，且輸入數據不會產生變化.在離線計算中，一般使用HDFS存儲數據，使用MapReduce做批量計算，計算完成后的數據存儲Hive，然后從Hive進行展現.而在在線實時計算中，輸入數據是可以以序列化的方式一個個輸入并進行處理的，在計算開始前無須知道所有的輸入數據.在線實時計算對數據處理時間有著較高的要求，但對于延遲閾值大數據界一直沒有統一的標準，默認是秒級.針對流式數據的實時處理，稱為流式計算，代表的技術有Flume實時獲取數據、Kafka/metaq實時數據存儲、Storm/JStorm實時數據計算、Redis實時結果緩存、持久化存儲（mysql）.總之，流式計算是將源源不斷的數據實時收集，盡可能快地得到計算結果，然后用于決策支持.

3 交通大數據

數據是智能交通系統的基礎，數據的質量和采集、處理方式直接影響到智能交通各個業務系統的應用效果，因此在大數據技術的背景下，明確交通大數據的基本特點，理解交通大數據的建模分析方法，探討交通數據的數據挖掘方法及其在智能交通控制中的應用具有非常重要的意義.

3.1 交通大數據的特征及分類

按檢測方式及信息內容，交通數據可以分為基于位置的交通數據、基于活動的交通數據和基于設備的交通檢測數據.基于位置的交通數據主要包括智能手機、GPS定位設備等采集的包含位置信息的數據.基于活動的交通數據主要依托社交媒體如微博、微信等檢測，這類數據經常用于聚集事件的發現與分類分析.基于設備的交通數據指的是傳統的斷面交通檢測數據，包括地感線圈、地磁、微波雷達、卡口等.這類數據一般可以采集車輛的實時通過信息，并可以按照統計周期匯總為流量、占有率、平均速度等.與此同時，交通行業也存在著大量的結構化、半結構化和非結構化數據，數據總量也在逐漸增長，以大連市2017年的統計為例，交通信息的采集數據每月增量約30GB，而卡口抓拍的車輛照片及監控視頻的每月增量分別為60TB和1050TB，數據體量巨大.同時，交通數據種類豐富，包含車、路、人的各種結構化和非結構化的存儲數據，如車駕管數據、交通流信息采集數據、車輛違法數據、信號燈運行數據、各類交通服務媒體渠道采集的數據，如微信公眾平臺采集的微信數據等.如何有效整合、共享及充分挖掘利用這些數據的價值對智能交通系統的發展具有深遠的意義.

3.2 交通數據可視化

當前對大數據特征的描述主要有：3V[11]，4V[12]和5V[13]等，陸化普等結合交通大數據的基本類型及特點，認為交通大數據具有6V特征[14]，即數據體量巨大（Volume）、數據處理、更新快速（Velocity）、數據模態多樣（Variety）、數據真假共存（Veracity）、數據價值豐富（Value）及數據可視化（Visualization）.即在傳統公認的5V特性的基礎上，增加了交通數據可視化.數據可視化是對數據的視覺表現形式的研究，數據可視化的前提是抽取數據的各種屬性和變量.隨著物聯網等技術的發展以及互聯網公司數據的不斷開放，軌跡數據在城市交通領域的應用越來越多，如滴滴的蓋亞數據開放計劃以及其舉辦的智慧信號燈大賽，百度與北京市交管局共同合作的智慧信號燈平臺，都在探索和嘗試其軌跡數據或以軌跡數據融合其他數據計算后得到的路況數據在智能交通控制中的應用.

在數據可視化表達中，對于時間的表達包括線性時間表達、周期時間表達和分支時間表達三類.線性時間表達橫軸為時間軸，縱軸為數據，如流量、速度、交通指數等.如圖3為某區域一天24小時的擁堵指數變化圖，為線性時間表達方式.

周期時間表達可以反映每天同一時刻數據的變化趨勢，分支時間表達目前在交通數據的可視化表達中應用較少.

在數據的空間可視化表達中，以含有位置信息的軌跡數據為主.根據其聚合程度可分為基于點的空間表達、基于線的空間表達（對軌跡點的一階聚合）和基于區域的空間表達（對軌跡點的二階聚合）[15].如圖4，5，6分別為軌跡點圖、軌跡連線圖和以車輛軌跡為基礎數據生成的OD圖.

在數據的時空表達中，有時空立方體（STC）和平行坐標系（PCP）等方法來兼顧數據時空演化、關聯特性分析及展示.

4 大數據在智能交通控制中的應用

4.1 交通控制系統

交通控制系統是智能交通系統的核心之一.對組織、控制交通流的流向、流量，維護交通秩序及保障交通安全均有重要的作用.交通控制根據控制范圍的不同，交通控制可以劃分為單點控制方式、干線協調控制方式和區域協調控制方式.單點控制方式包括單點定周期控制、多時段控制和感應控制等;干線協調控制在有些情況下也稱為綠波帶控制，此外，還包括感應式線協調控制方式等;區域協調控制是指以區域交通性能指標（如總延誤、停車次數等）為控制目標，構建信號控制參數（周期、綠信比、相位差、相位相序等）和交通狀況（流量、離散性等）的數學模型.并依靠模型計算來優化信號配時方案和策略的控制方式，可分為定時控制、脫機自適應控制和在線實時自適應控制等方式.經典的區域自適應控制系統以英國的SCOOT系統和澳大利亞的SCATS系統為代表.根據檢測器設計的位置、采集方式的不同，各個系統分別有自己的自適應控制模型和算法.如SCOOT要求檢測器設計在路口上游距停車線80～150m處，根據檢測數據預測每條進口路段上在當前放行階段內的車輛到達、放行及車輛排隊，稱之為“排隊模型”，如圖7所示，在排隊和放行預測的基礎上，通過周期、綠信比、相位差三個優化器的協同工作，來實現區域自適應優化控制.SCATS系統利用停車線檢測器，以“飽和度”，即綠燈使用率為控制原理，根據實時的交通檢測信息，在方案庫中選擇最優控制方案實現自適應控制.

4.2 互聯網大數據下的交通控制

大數據技術和交通大數據的發展為智能交通系統帶來了新的機遇和挑戰.大數據應用于智能交通系統尤其是智能交通控制中，不能僅僅是簡單地將大數據分析方法和開發技術移植或者套用到交通系統里[16]，而是要基于對交通控制基礎環節、方法深入了解的前提下，首先分析交通數據的特征及交通控制的具體數據需求，進而考慮數據預處理技術的應用，如是否需要對多源交通數據進行融合處理等.進而按照控制需求組織數據，從數據中提煉有效特征信息、發現規律來反饋、指導控制，以實現區域最優化控制.

各類交通數據均可從不同角度、不同層次為交通控制提供基礎支撐.線圈、地磁等斷面車輛的實時存在性檢測數據常用于車輛感應控制、系統的實時自適應優化控制;浮動車數據、卡口過車記錄數據也可以在宏觀程度和評價反饋的角度去影響控制方法.智能終端技術的發展使得軌跡數據在交通行業中的應用越來越受到重視.百度、滴滴和高德等互聯網公司也在逐漸開放他們的移動導航或其他軌跡數據，使得關于軌跡大數據在交通中的應用也越來越受到重視.

在國內互聯網大數據應用于交通控制的實踐中，廣州交警與高德地圖合作，以海珠區、天河區為試驗區，構建了全國首個“互聯網+信號燈控制優化實驗研究平臺”，基于高德地圖的導航大數據，主動監測路口失衡（各個方向擁堵不均）、出口溢出等異常交通情況，提供控制優化和建議方案.百度地圖和北京市交管局共同研究構建了“百度地圖智慧信號燈研判平臺”，平臺初期主要覆蓋二環內以及上地、望京主要商務出行區域400多個路口的路況監測，實現信號燈路口擁堵分鐘級發現、實時報警，將原來的人工監測轉變為遠程平臺化監控，提高了信號燈路口異常擁堵的發現率.同時百度地圖與北京交管局的信號控制系統已經實現大范圍的“秒級數據互通”，也是國內首次信號控制系統與互聯網平臺進行數據融合.滴滴與武漢、濟南、成都等交警部門簽訂了合作協議，基于滴滴的大數據平臺和互聯網云計算基礎設施打造“智慧信號燈”平臺，應用其持續可靠的軌跡大數據，探索信號燈配時優化的方法.

4.3 車路協同大數據采集環境下的交通控制

隨著車路協同技術和自動駕駛技術的不斷發展，使得車輛信息的采集由傳統的斷面采集變為車輛的全時空運行數據采集，因此，數據不再是制約交通控制方式和策略的瓶頸.現有的軌跡數據存在樣本量相對較小、空間分布不均、連續性不好的缺點，因此，當前及目前可能的軌跡數據應用方向主要集中在信號配時的估算反推[17]、路口的關聯性分析，控制子區劃分等.當前大數據尤其是軌跡大數據在智能交通控制中的應用主要是現有軌跡數據+現有交通控制系統的模式，即利用軌跡的數據特征，為現有的區域交通控制系統提供必要的檢測數據、模型參數修正、效果評價等.以SCOOT系統為例，其在實施優化前，需要人工標定諸如JNYT（上游檢測器到停車線的旅行時間）、STOC（飽和通行能力）、QCMQ（最大排隊清空時間）等，在SCOOT系統實施中稱之為Validation，耗時耗力，而基于互聯網的軌跡大數據，可以自動學習這些參數，甚至可以達到實時修正模型參數以提高控制精度的效果.

在未來的車路協同和自動駕駛時代，軌跡數據的采集將不再受樣本量小、連續性不好等缺點的制約，因此，車輛檢測數據的時空覆蓋特性更好.同時，自動駕駛的發展也使得交通控制的對象特性發生了改變，彼時的交通控制系統將在更廣的范圍上去協調和管理車輛的路線規劃、路網、路段和路口的時空資源調度，需要隨著車聯網、大數據和自動駕駛技術的不斷發展去做更進一步的深入研究.

5 總結展望

車聯網等技術的發展使得交通信息采集的時空范圍進一步擴大，交通行業的數據積累也飛速增長，呈現了大數據的5V特性.交通數據可視化有助于挖掘數據背后潛在的價值信息.交通大數據擴展了傳統智能交通控制系統的數據源，能夠為各種交通控制策略和方式提供直接或間接的數據支撐.在軌跡大數據應用于交通控制方面，國內外的研究學者包括滴滴、百度等互聯網廠商已經開展一定的研究和技術研發、驗證工作.未來車路協同及自動駕駛環境下，由于信息采集手段的強化和交通控制對象的特性變化，如何構建新一代大交通控制系統是未來交通控制的研究熱點之一.

參考文獻：

〔1〕李德仁，姚遠，邵振峰.智慧城市中的大數據[J].中國建設信息化，2014，58（3）：1-12.

〔2〕方巍，鄭玉，徐江.大數據：概念、技術及應用研究綜述[J].南京信息工程大學學報，2014（5）：405-419.

〔3〕Mayer-Sch？nberger V， Cukier K. Big data： A revolution that will transform how we live， work， and think. Houghton Mifflin Harcourt， 2013.

〔4〕Tom Mitchell. Machine Learning. McGraw Hill Higher Education， 1997.

〔5〕程學旗，靳小龍，王元卓，等.大數據系統和分析技術綜述[J].軟件學報，2014（9）：1889-1908.

〔6〕馮登國，張敏，李昊.大數據安全與隱私保護[J].計算機學報，2014，37（1）：246-258.

〔7〕孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（1）：146-169.

〔8〕中國計算機學會大數據專家委員會.中國大數據技術與產業發展白皮書[R].2013.

〔9〕ZHENG Y.Location-based Social Networks： Users[M].New York：Springer， 2011.

〔10〕HDFS Architecture Guide[EB/OL].[2014-08-25].http：//Hadoop.apache.org/docs/stable/hdfs_design.htm，20130512.

〔11〕Zikopoups P C， Eaton C， de Roos D， et al. Understanding and streaming data[R].McGraw-Hill Companies，2012.

〔12〕Chen M， Mao S W， Zhang Y， et al. Big data related technologies， chanllenges and future prospects series[M]. Springer Briefs in Computer Science， 2014.

〔13〕李清泉，李德仁.大數據GIS[J].武漢大學學報（信息科學版），2014，39（6）：641-644.

〔14〕陸化普，孫智源，屈聞聰.大數據及其在城市智能交通系統中的應用綜述[J].交通運輸系統工程與信息，2015，15（5）：45-52.

〔15〕Chen W， Guo F， Wang F Y. A Survey of Traffic Data Visualization[J]. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（6）：2970-2984.

〔16〕《中國公路學報》編輯部.中國交通工程學術研究綜述·2016[J].中國公路學報，2016，29（6）：1-161.

〔17〕譚墍元，尹凱莉，李萌，等.基于移動導航數據的信號配時反推[J].交通運輸系統工程與信息，2017，17（2）：60-67.