大數據技術在智能交通領域的應用

李燕妮

在新時代背景下，以大數據理念為依據的智能化交通建設成為優化城鎮化建設水平，解決城市交通擁堵的有效舉措，其不僅能提升獲取交通信息的科學性和準確性，而且可以構建多元化的管理系統為智能交通運行提供基礎保障。文章以廣西為例，基于大數據與智能交通理論概念，介紹了基于大數據技術的處理平臺特點與架構，探討了智能交通領域大數據技術的具體應用。

大數據;智能交通;數據遷移;實時性;高度可拓展性;異構環境

U491.1+22A401434

0 引言

日益嚴峻的城市交通運輸難題，既會導致車輛運行緩慢，又會增加運輸時間和成本的消耗，并由此釋放大量的汽車尾氣，嚴重污染城市環境和自然生態。同時，擁堵的城市交通必然會增加事故發生的概率，而這一現象也會增加交通擁堵的范圍，以此形成惡性循環。除此之外，城市道路建設的功能不完善，交通運輸管理的方式過于落后等問題也會造成道路擁堵難題。而大數據技術作為網絡技術革新的全新內容，融合了多種類型的數據，可以從中獲取更多具有價值的數據信息。所以，在城市建設發展過程中，構建以大數據為核心的智能交通網絡系統，不僅能提升道路運輸效率，增加獲取信息，而且可以為智能交通建設發展奠定基礎保障。智能交通可以從基礎上改變人們的出行方式，提高他們的生活質量，更可以為社會經濟和城市建設提供技術支持。

1 背景介紹

隨著我國經濟發展水平的持續上升，科學技術地不斷創新，人們生活的質量越來越高，家庭擁有汽車數量也在直線上升，為解決日益嚴峻的城市道路運輸難題，大部分城市都開始引入智能交通建設理念，并在實踐發展中獲取了一定成果?，F如今，我國每年在這一領域上的投資超過了200億元，為解決城市交通運輸難題提供了有效的資金支持。未來的智能交通技術及其系統運營并不會局限于陸地交通，也可以運用到航空、海運等領域中，這將有助于我國綜合交通領域向著現代化和智能化的方向革新。

本文研究以廣西為例進行了應用分析：

（1）數據中心。選用多種運輸方式，整理收集國際運輸、海關物流等數據信息，全面推廣廣西綜合交通運輸全域大數據資源的管理工作，并在構建數據資源池的基礎上實現資源共享與交換，而后利用數據挖掘分析為西部陸海新通道建設系統提供依據。

（2）智慧高速。以南寧沙井到吳圩高速公路為依托，運用車路協同和自動駕駛技術構建全新的道路交通控制平臺，并構建智慧高速公路路段，科學動態地管理與調度途中的車輛。

（3）智慧服務區。利用5G技術、人工智能以及云計算等內容，整理分析以視頻圖像為主的服務區全態勢大數據，在促進商業經營轉型的同時，提升實際服務質量和安全防控力度。

（4）智慧公路監測系統。構建以5G技術為依據的公路專用通信網絡，為智能交通運輸提供混合云霧計算平臺，促使公路網在全面覆蓋的基礎上，可以從出行服務、運營保養以及基礎設施等方面快速利用智慧平臺進行數據分析與處理。

（5）基礎設施建設與保養。不管是特長隧道還是高速公路、橋梁等基礎設施，都要利用BIM技術在道路施工和養護運營等管理期間進行全生命周期的管控與研究。

2 概念分析

2.1 大數據

從本質上講，大數據就是對大規模的數據信息進行整理收集以及分類處理等操作的全新技術理念，其不僅能在分析處理中發現事物規律，而且可以突破傳統計算機技術的限制。尤其是在人工智能和云平臺理念的優化下，將這一技術理念運用到城市建設中能全面改變人們的生活和工作形式。

2.2 智能交通

智能交通系統也叫做智能運輸系統，是指利用現代化科學技術如自動控制理論、數據通信技術以及電子控制技術等，全面管控交通運輸情況，并強化人車路三者間的協調關系，以此構建一種可以提升效率、減少資源消耗、優化城市環境以及保障生命安全的綜合運輸系統[1]。

3 基于大數據技術的處理平臺

3.1 大數據處理特點及框架

結合圖1分析可知，以大數據為依據的技術平臺特征主要分為以下幾點：（1）用來儲存并抓取大量數據，能快速且準確地了解城市交通運輸現狀;（2）突破跨區域管理的限制;（3）具有智能性和現代性，能幫助管理人員全方位了解道路運輸狀況，統籌規劃實際管理方案，以此提升道路資源的應用效率;（4）具有預見性和便捷性，可以在快速處理多樣化數據信息的基礎上，讓網絡交通信息和道路實際數據彼此融合互補，有助于城市居民根據城市道路運輸提供不同類型的數據信息，選擇適宜的出行方式和路線。目前隨著城鎮化建設水平的提升，道路運輸量的增長速度遠遠超過了預期范圍，難以及時應對日益增加的汽車運輸需求，此時基于大數據技術構建系統化的道路誘導系統至關重要。

3.2 數據倉庫系統

數據倉庫作為數據管理科研項目的核心內容，由其產生的數據需求和數據服務等都發生了翻天覆地的變化，而這些改變需要科研人員根據實驗探究進行逐一確認。根據上文概述的廣西智能交通領域發展現狀分析可知，用數據倉庫系統處理交通信息，必須要具有以下特征：

（1）高度的可擴展性。面對持續上升的智能交通運輸信息，數據庫不能依據一臺或少數機器的升級來滿足爆炸式增長的數據量，而是要利用橫向可拓展技術來完成實際數據的分析與儲存。

（2）高度容錯。由于城市交通信息大部分都需要查詢實時數據信息，因此對系統的容錯性要求極高。而在集群環境中，節點的失效并不是一件稀罕事，計算機系統無法利用硬件來提升自身的容錯性，相反要注重優化軟件性能，提高其所擁有的容錯性。

（3）支持異構環境。在實踐運行中根據工作需求不斷購買大量異構計算資源，不僅能減少資源浪費，而且可以保障其系統的運行質量。

3.3 Hadoop架構

Hadoop架構作為運行在大規模集群上的開源的分布式并行編程框架，不僅能運行Google的Map Reduce編程模型，還具備分布式文件系統HDFS，因此在實踐運行中可以處理大量數據并進行分布式計算。其具體架構如圖2所示。此時，框架處理數據量可以達到海量級別，且需要服務端具有極強的處理能力和負載水平，服務系統也具備一定的穩定性和可拓展性。大數據平臺的應用優勢在于儲存和計算大規模數據信息，且具備高交互性。HDFS文件系統能有效提升系統服務器的拓展性，由此構建的Map Reduce框架也能更快地進行分布式計算，且能在處理期間增強服務器的負載均衡力。運用Hadoop分布式處理平臺，按照城市居民出行調查、當前道路信息以及車輛運行情況等對數據庫信息進行整合處理與分析，能在準確評估城市道路車速的基礎上，提升公共交通效率。

3.4 HBase

關系型數據庫管理系統更適宜應用在數據更新或查詢等工作中，符合小規模數據信息的分析與處理要求。Map Reduce框架能以批處理方式來研究整體數據集的問題，適宜用來一次寫入多次讀取的問題，而前者更符合長期更新的數據集。對比兩者實際應用情況可知，前者必須要具備精準定義的實體數據，而后者主要用來處理半結構化或非結構化的數據信息。按照實踐系統運行需求分析，這一系統對實時性的要求極高，如道路運輸的實時路況、出租車實時信息以及用戶請求等，這些內容都要利用MySQL數據庫儲存模式，及時反饋查詢相關內容，以期在方便居民出行的同時，儲存大規模數據信息。上述內容必須要選用HBase數據庫。其作為Apache Hadoop的數據庫，可以在應用期間進行實時且隨機的讀寫訪問，相應的工作目標在于儲存并處理大規模的數據信息。以HDFS為依據的HBase數據庫具有可伸縮性、可靠性以及高性能等優勢，將其運用到PC集群中構建大規模的結構化儲存集群，對當前智能交通系統建設與運行而言至關重要[2]。

3.5 Hive

Hive作為Hadoop數據倉庫所需工具，能讓結構化的數據信息映射成為一張數據庫表，并為用戶提供有效的SQL查詢功能，以此將這一語句轉變為Map Reduce任務在系統中運行。這一內容在智能交通系統中的優勢在于學習成本較低，能利用SQL語句快速統計Map Reduce，并不需要依據Map Reduce需求設計專門的應用，非常符合當前數據倉庫統計需求。常見內容涉及解釋器、用戶接口以及優化器等。

3.6 Pig

Pig作為以Hadoop為依據來源的大規模數據分析平臺，相應的SQL-LIKE的語言叫做Pig Latin。結合實踐工作情況分析，Pig主要用來分析大量的數據集，其可以為系統用戶帶來多層抽象，這樣能在方便并行技術的基礎上，為用戶帶來更為優質的系統服務。此時，抽象化的處理可以自動將用戶請求queries翻譯成為有價值的并行評估方案，而后在物理集群中合理處理上述計劃[3]。

4 在智能交通領域中的大數據技術分析

4.1 系統框架

根據當前廣西智能交通系統應用情況分析，要想科學處理交通數據，必須要根據上述典型的大數據平臺架構設計更為完善的處理平臺。具體系統架構如圖3所示。這一系統主要分為三大部分：（1）數據的采集層;（2）數據的架構層;（3）數據的服務層。數據的采集層和傳統智能交通系統的設計相同，而收集到的數據信息將會被傳遞到交通云平臺，并按照不同的需求儲存到數據庫當中，接下來會按照實時處理和歷史統計等系統需求，選擇內部不同類型的處理架構為用戶提供便捷服務。

4.2 數據遷移

目前，很多交通數據都被儲存在關系型數據庫當中，為了便捷統計和分析，必須要將歷史數據轉移到構建的大數據平臺中。根據系統測試分析可知，最佳的方式就是開放遠程oracle數據庫數據瀏覽端口，運用開源數據轉移工具Sqoop直接將數據導入到HDFS中，此時運行速度將會受到網絡帶寬的限制。這種方案在測試期間，數據傳輸過程中并沒有出現缺失或是中斷，因此符合整體平臺系統的建設和運行要求。而Sqoop作為用來轉移數據信息的工具，可以將關系型數據庫當中的數據導入到HDFS中，也可以將HDFS的數據導入到關系型數據庫中，屬于一個非常重要的基礎組成部分。

4.3 數據儲存

儲存與計算作為大數據技術應用與發展必不可少的兩項內容，在系統架構中必須要從交通運輸角度入手設定相應功能。通信客戶端能確保系統接收層獲取的數據被傳遞到云平臺，而系統的儲存功能可以穩定且持續地儲存相關信息數據。在系統接收到上傳文件的相關請求后，云平臺的Hadoop集群將會啟動一個任務，將Job文件塊上傳到分布式數據庫中。如圖4所示，其為基于JobTracker啟動多個任務的分配框架。本文基于廣西目前智能交通運輸情況所構建的大數據平臺具備數據清洗和噪點過濾等的特征，能有效保障內部數據分析與處理的準確性。而利用智能柵格技術以及壓縮策略等也可以進一步減少資源占據的空間[4]。

4.4 數據處理

這一模塊可以分離處理統計應用和實時應用，以此滿足不同類型的用戶需求，同時在實踐運行中選用了大規模并行計算方式，并設置了空間位置數據實時提取計算模型，有效保障了系統內部數據處理的科學性和準確性。為了達到上述要求，這一模塊在處理數據期間所運用的關鍵技術有：

（1）軌跡數據的快速檢索技術。利用二進制文件取代傳統意義上的數據進行儲存，并為系統設計Key-Value儲存對，同時運用Key迅速檢查Value的特征，并將數據子集儲存到Value當中。另外，還會利用HDFS分布式文件和Map Reduce分布式計算編程形式取代傳統意義上的關系型數據庫，有助于在快速檢索的同時，降低數據壓縮比例，提升整體運行速度。

（2）分布式軌跡的聚類技術。運用Map Reduce分布式計算架構規范處理城市交通運輸軌跡，并由此獲取并行的K-Means聚類算法。通過明確初始位置，對經常出行的路段實施聚類分析，就能快速得到其中的異常數值。

（3）分布式停車點的聚類技術。利用Mahout和Hadoop平臺所呈現出的協調功能，能充分展現Map Reduce的可迭代式數據發掘算法，并由此進行分布式計算與分析。

（4）地圖的匹配技術。地圖匹配作為道路交通運輸實現智能化的基礎內容，主要是利用傳感器所提供的觀測數據來明確傳感器載體在地圖上的真實位置。現如今，這一技術和設備被大量引用到交通路段、速度以及密度等方面的檢測工作中，其在確定位置信息并進行預處理工作中具有積極作用。只有準確掌握車輛在城市道路網絡中的真實路徑，才能確保上述信息具有真實性和有效性[5]。

4.5 數據安全

在智能交通大數據平臺系統中，數據安全性涉及到以下幾點：

（1）備份。系統的有效性源自于HDFS文件系統的冗余存儲設計，而資源利用效率之間的平衡則會受HDFS系統的復制因子數據所影響。在設計備份的基本策略中需要將某數據節點的本地數據在同一機架的近程遠端節點和不同機架的遠程遠端節點中各備份一次，這種設計能從基礎上保障數據信息的有效性。

（2）訪問控制。不管是位置還是準確服務，兩者之間的矛盾和用戶隱私保護都將引發系統運行難題，并對系統服務器的處理能力提出了全新要求。基于Hadoop的權限設計必須要根據不同文件夾規范用戶權限，并利用HMaster或Namenode等對所有的訪問實施監管，并根據實時日志對其數據訪問行為進行跟蹤調查。

5 結語

綜上所述，隨著當前我國智能交通領域的不斷創新與發展，大數據技術及其平臺建設在取得優異成績的同時，也充分展現了自身所擁有的獨特優勢。運用大數據技術優化智能交通，不僅能解決以往居民出行面臨的交通難題，而且可以從實踐發展角度入手構建更為現代化和智能化的城市環境。因此，在未來的城市建設發展中，要將智能交通和大數據技術看作是科研探索的主要內容。

[1]孫 靜.大數據處理技術在智能交通中的應用[J].赤峰學院學報（自然科學版），2019，35（5）：52-56.

[2]丁向朝.大數據技術在智能交通平臺構建中的應用[J].電腦知識與技術，2019，15（16）：178-179.

[3]張 文.大數據技術在智能交通管理中的應用研究[J].信息記錄材料，2020，21（4）：161-163.

[4]牛啟航.大數據技術在智能交通管理中的運用[J].汽車實用技術，2020，307（4）：230-231，247.

[5]李 鏌，楊容平，劉亞婷.大數據在智能交通與公共安全領域的具體應用[J].中國安防，2019，167（11）：40-44.