數據挖掘技術在交通控制領域中的應用探討

王倩

摘 要：本文主要研究交通大數據的信息挖掘關鍵技術，研究了如何從海量的結構化的、半結構化以及無結構化的交通數據類型中挖掘出有用的知識，充分分析后加以整合，應用在城市道路交通控制中，作為決策時的依據。本文探討了城市交通控制中各個系統產生的海量數據的數據特點，以及數據挖掘的關鍵技術在道路交通控制領域中的應用，從理論上的可行性進行了有益的探索。

關鍵詞：數據挖掘； 決策支持； 交通控制；

1 引 言

城市道路管理系統的信息來源的多樣性，導致各類數據庫中累積了大量的結構化、半結構化和無結構化的數據類型，還有其他動態的復雜的數據信息。而道路交通系統時刻都產生了大量的數據，僅就城市的某一個道路交叉口而言，卡口系統、路口的實時監控系統、超速檢測系統、闖紅燈違章拍照系統、埋設在地面下的環形線圈車輛檢測器等，這些設備產生了海量的數據，且隨著交叉口流量的增多數據的增長速度也越來越快。因此，如何存儲和處理這些數據，它們在整個交通領域中是否都是有價值的，成為了研究的重點。

目前處在信息大爆炸的時代，“數據爆炸，知識匱乏”，數據挖掘正是從海量的數據中發現潛在的可以描述或者預測數據的特性的知識，達到知識發現的目的。工信部發布的物聯網“十二五”規劃中，將信息處理技術作為4大關鍵技術創新工程之一，主要包括海量數據存儲、數據挖掘和圖像視頻智能分析，可見數據挖掘在整個研究領域中的重要程度。道路交通領域作為圖像處理和數據挖掘的重要應用領域，同樣具備了應用大數據和數據挖掘技術的可能性。主要研究數據挖掘在道路交通控制中的應用，是本文重點要探討的問題。接下來先從交通數據的數據特點開始探究。

本文第2節介紹了交通大數據的數據特點，第3節介紹了數據挖掘關鍵技術，第4節探究了數據挖掘技術在道路交通中的應用，最后，進行了小結。

2 交通大數據的數據特點

當前在交通領域，監控系統、通信系統、信息采集系統、綜合管理平臺系統無時無刻不在產生海量的數據。大數據都具備了“4V”特性：規模性（volume）、多樣性（variety）、高速性（velocity）和價值性（value）。

其中規模性（volume）集中體現在數據的規模上，當前處在信息大爆炸的時代，在交通領域無時無刻不在產生著海量的數據，數據的規模也從PB、EB級甚至擴展到ZB級。由此可見在交通領域數據量巨大。

交通大數據的多樣性（variety）主要體現在交通數據來源眾多，數據類型多樣，如車輛檢測器采集到的交通流參數，監控系統采集到的圖像和視頻類數據，交通管控中心從不同的監控中心收集到的音視頻以及圖像等數據，闖紅燈違章拍照系統采集的違章信息等不同來源的數據類型，共同構成了交通大數據的多樣性。

交通大數據的高速性（velocity）主要體現在對交通數據處理的時效性上，即在規定的時間內及時處理，如交通異常事件檢測系統中，一旦系統發出火災、車禍等異常事件預警，一般都需要在很短的時間內進行及時的響應。

交通大數據的價值性（value）集中體現在決策支持上，即通過數據挖掘關鍵技術從海量的大數據中挖掘出能夠支持決策的有用的知識。

同時，也必須看到，由于交通領域數據的特殊性，也具備了數據存儲分散的特點，不同部門之間，不同城市之間，甚至不同地點之間都有可能存在著多種多樣的數據，存儲位置的分散性導致了在信息共享方面的不足。針對以上特點，第3節重點介紹數據挖掘關鍵技術。

3 數據挖掘關鍵技術

在通常的大數據挖掘技術中，一般都是指基于大規模文件系統的數據挖掘技術，例如基于數據庫的數據提取、數據倉庫集群處理等[1]。 相較于單純的數據分析和處理，數據挖掘一般不預先設定主題，只需在處理后的數據上使用現有算法或改進算法進行計算或預測，實現數據分析的高級需求。數據挖掘可以看作是知識發現（KDD）其中一個步驟，針對有關數據選擇合適的模型或算法。其中最為經典的算法主要有用于聚類的K-Means、用于統計學習的支持向量機SVM和用于分類的樸素貝葉斯（Naive Bayes），數據挖掘的算法原理都相對來說很復雜，計算量和數據量也很大。數據挖掘在具體應用時主要面臨的挑戰有大型的數據庫，高維的數據，統計的有效性和準確性，數據的改變導致的模型的改變等一系列的挑戰。

第3節主要研究數據挖掘的關鍵技術及其在交通控制領域中的應用探究。總體而言，在城市道路交通控制領域，數據挖掘技術可以應用在智能交通系統中的決策支持子系統中。

3.1 數據挖掘經典分析法

從功能上進行分類，數據挖掘主要分成兩大類：分類和預測。

分類算法對特定的樣本訓練和學習，發現新的知識，并且能夠在給定一個新的樣本后，自動對其類別歸屬進行預測。具體而言，分類過程主要有兩大步驟：首先，建立一個可以描述數據集和概念集的模型，假定每個樣本屬于一個預定義的類，由類標屬性確定訓練集，形成訓練樣本，單個樣本可以由分類規則、統計學、判定樹等方法提供。

其次使用在第一步中建立的模型，對新加進來的未知樣本進行分類。首先評估模型的預測準確率，對每個測試樣本，將已知的類標和該樣本的預測類進行比較，統計測試集的被正確分類的百分比。其中，給定的測試集必須獨立于訓練集，以免出現“過分適應數據”的情況。

比較經典的分類算法主要有樸素貝葉斯、支持向量機、人工神經網絡、J48等，從這些經典算法中也擴展了不少的改進算法，提升分類器的分類效果。

預測是構造和使用模型評估無樣本類，或評估給定樣本可能具有的屬性或值空間。和分類法相同之處在于都需要構建模型來估計未知值。只是分類法主要是用來預測類標，預測法主要是用來估計連續值，且預測更多的采用線性、非線性回歸等統計學的手段進行，大都用在商業領域中。endprint

在數據挖掘過程中，對數據的預處理可以提高模型的準確性和有效性。預處理的方法主要有數據清洗、相關性分析、數據變換等。數據清洗主要是為了消除或減少噪聲，減少空缺和錯誤值，減少學習時的混亂，對數據中的“臟數據”（冗余、噪聲、錯誤、不相關等）進行處理，可以加快數據挖掘模型的學習速度，使得學習結果更加精確。從而提高模型分析的準確性。

3.2 大數據處理平臺

在智能交通領域中，數據瞬息萬變，時效性非常強，當一個或多個數據流到來，需要立即對數據進行處理或存儲，并且很快，數據就會失效，失去利用價值[1]。隨著大數據時代的來臨，應對大數據的處理平臺也應運而生，主流的平臺主要有Hadoop、Apache Spark、S4， Storm等。Hadoop 本身存在的缺點是不能有效適應實時數據處理需求，為了克服該局限，一些實時處理平臺如S4， Storm 等隨之產生了，他們在處理不間斷的流式數據方面有較大的優勢[2]。

3.2.1 Hadoop大數據處理平臺

Hadoop是一種分布式計算的大數據實時處理平臺，實現了計算機集群中的分布式運算，在海量大數據分析處理中應用較為廣泛。它允許用戶在不了解底層細節的情況下，開發分布式應用程序，充分利用集群的概念和方法進行數據的高速運算。該框架的核心設計是分布式文件系統（HDFS）和MapReduce兩部分組成，通過這兩部分存儲資源、內存和程序的有效管理。分布式文件系統（HDFS）為海量的數據提供了存儲方法，允許以流的形式訪問文件中的數據；MapReduce提供計算，二者相互獨立又相互配合。通過Hadoop，可以輕易的將多臺普通的或低性能的服務器組合成分布式的運算-存儲集群，提供大數據量的存儲和處理能力。MapReduce通過Map（映射）和Reduce（化簡）來實現大規模數據的并行計算。通過Map（映射）函數，把一組鍵值對映射成一組新的鍵值對；指定并發的Reduce（化簡）函數，達到分散運算的效果。

3.2.2 Apache Spark大數據處理平臺

Apache Spark是Apache的開源項目之一，可以利用Java、Scala或Python語言編寫程序的大數據處理框架，為用戶提供了一個用于管理不同性質的數據集和數據源的大數據的處理平臺，它可以提升Hadoop集群在內存中的運行速度。Spark的處理速度極快，而且支持多種語言為其編寫應用，能夠輕松處理實時數據流，支持復雜的分析操作[3]。

4 數據挖掘技術在交通領域中的應用

在城市交通控制技術領域，從半結構化甚至無結構化的數據類型中挖掘出來的有用的知識或發現，可以廣泛的應用在了智能交通平臺的基礎平臺上，如交通誘導系統，決策支持系統；異常事件檢測系統等。下面從幾個方面說明數據挖掘技術的應用。

4.1 交通異常事件檢測

交通異常事件檢測主要是通過圖像或視頻數據中發現異常狀況，也就是在數據集中和其他顯著不同的異常事件，如交通擁堵、交通事故、逆向行駛、車輛違章等狀況，通過對這些異常的檢測，可以盡早的發現事件的發生，從而為后續的處理提供科學而準確的依據。

4.2交通運行狀態分析和交通誘導

交通誘導是通過分析車輛檢測器檢測到的各項交通流的參數，根據實時采集到的數據和歷史數據記錄的區別，對交通的實時運行狀態進行分析，如可以使用關聯規則、聚類、分類等挖掘方法，挖掘出路網規劃和交通擁堵、交通事故之間的關系，從而依據挖掘結果實現對當前交通運行狀態的準確而有效的分析，為迅速而快捷的實現交通誘導做數據上的支持。

4.3 指揮中心決策支持

城市道路交通指揮中心是整個交通部門的核心，匯集了城市大小各個路口和道路的各項信息，因此信息量也很巨大，并且數據來源也比較廣泛，在做出決策時，可以采用大數據平臺對有用的知識進行挖掘，并將這些知識充分應用到決策支持中去，為更好的做出決策做充分的準備。因此進行決策支持時，大數據的處理、數據挖掘的算法應用，都可以有效的應用。

指揮中心在進行決策支持時，可以充分運用GIS地理信息系統，將整個城市的交通路網顯示在電子地圖上，通過對交通設施、交通狀態、交通結構的分析，結合駕駛員信息、車輛信息、天氣、路況等相關信息的綜合整合，積極探索這些數據內部的規律性，進行深層次的數據挖掘，為提升整個城市的交通管理水平提供決策支持和數據支持。

5 結 論

隨著我國社會經濟的發展，交通領域也發生著巨大的變化，如數據來源的多樣性，海量的數據類型，多源異構數據的樹立，大數據的分析和處理等，這些變化帶來的不僅僅是巨大的社會價值，更多的是挑戰。本文探討了數據挖掘技術在交通領域中的應用探析，通過對交通大數據特點的分析、數據挖掘關鍵技術、大數據平臺應用的探討，簡要的分析了數據挖掘關鍵技術在道路交通控制領域應用的可能性，通過應用新的技術和方法，相信可以能夠應對越來越嚴重的交通擁堵、交通事故和環境污染等一系列的交通問題。

參考文獻：

[1]楊曉牧. 試述大數據在智能交通領域的應用[J]. 交通節能與環保， 2015， 11（1）：76-79.

[2]周為鋼， 楊良懷， 龔衛華，等. 大數據處理技術在智能交通中的應用[C]// 中國智能交通年會. 2013

[3]于碩， 李澤宇. 交通大數據及應用技術研究[J]. 中國高新技術企業， 2017（4）.endprint