關于智慧交通大數據系統的設計分析

摘要：針對智慧交通不斷發展提出的大數據要求，從總體和功能兩個方面論述基于智慧交通的大數據系統設計，為解決大數據問題，發揮技術最大化作用提供依據。

關鍵詞：智慧交通；大數據

智慧交通能有效解決城市擁堵，提高交通管理技術水平。近年來，隨著智慧交通進一步發展，以及和物聯網技術的充分結合，不僅是數據種類還是數據采集方式都在不斷增加。基于這種發展局勢，在實際工作中，必然要處理大量數據。這就要求設計一套智慧交通大數據系統。

1、系統總體設計

本文設計一種智慧交通大數據系統，其總體結構如圖1所示，現對該系統各部分設計內容及功能做如下分析。

1.1數據接入與感知層：對廣泛分布且多源異構的數據進行實時采集、處理與存儲。

1.2數據層：負責對數據進行存儲和運算。分別利用HDFS與HBase分析采集到所有數據；再運用Spark與MapReduce對數據進行計算。語義化處理所有處理，同時構建時空索引，組織處理后的數據；再依靠數據關聯與融合分析得出有價值的信息，借助數據挖掘與可視化技術，獲得有用數據，進而為決策提供可靠支持。

1.3系統應用層：經數據計算與存儲層，為公共交通智能調度、指揮與監測等的云服務實現提供支撐。

1.4系統展現層：利用網站和數字廣播等所有可行的方式為受眾提供服務。

1.5系統用戶層：系統能為政府、企業與大眾提供豐富的服務，對數據進行共享，從而使資源得到更合理的配置和應用。

2、系統功能設計

2.1數據接入

是指對廣泛分布且多源異構的數據進行采集和融合。

2.1.1數據種類：為進一步了解交通實際發展情況，應實現匯集不同行業業務各項運營數據的前提目標；為了對網絡的運行效率進行分析，以便對交通事件進行及時協調與處理，應設置一系列交通傳感器，如車輛GPS、視頻監控裝置、信息采集裝置等，從而掌控交通全局。

2.1.2采集方式：包括傳感器對數據流的動態采集、與業務數據庫之間的相接和批量文件統一上傳等，在這種情況下，接口必須容易維護且具有可擴展性。和系統相接的數據有很多種類，且不同數據的質量往往參差不齊，對于采集系統，需要可以對復雜的異構數據實施分類與清晰，與多傳感器數據實現融合，以確保數據質量滿足要求。

2.1.3接口：通過對轉換接口進行的定制化開發，采用Socket、Web Service與FTP等不同的方法按照分布式原則進行數據抽取，并存儲在相應的數據庫當中。

2.2計算、存儲

2.2.1Hadoop，屬于典型的系統架構，各級用戶即便不了解細節，也能進行程序開發和數據挖掘，再利用集群完成計算和存儲。它是構建HDFS的重要基礎。對HDFS而言，它具有很高的容錯能力，同時支持在低廉硬件進行部署。另外，還能以較高的傳輸率對程序數據進行訪問，對數據集較大的程序十分適用。系統通過對Hadoop的合理應用，在HDFS進行文本與視頻等各類數據的動態存儲，繼而完成全壽命周期管理，包含數據清洗、轉換和存儲等所有過程，最終提高管理可行性與便利性。

2.2.2Hbase，它是Hadoop的重要組成部分，具有較高的綜合性能與可靠性，并且可伸縮，通過對它的合理應用，能在Server基礎上建立存儲集群。利用row key與range對數據進行檢索，用于對那些松散數據進行存儲。

2.2.3Spark，為通用的并行式計算基礎框架。它具有MapReduce的所有優勢，但它無需對HDFS進行讀寫，所以它在模型算法領域更加適用。

2.3監控、管理

2.3.1Nagios，用于對網絡信息與系統實際運行情況進行監視，可實現對所有指定目標的監視，并提供相應的通知功能。

2.3.2Gangila：它屬于開源監視項目，主要用于對節點進行測量，從而提供性能度量與靜態數據。在此基礎上，通過適當的配置，能將關鍵參數采用圖表方式進行展示。

2.4數據處理

對交通數據而言，一般駁雜數據沒有利用價值；難以精確查找，且準確率很低，對數據進行處理，尤其是語義化處理，就是解決以上問題。

2.4.1場景化處理：為數據提供場景，同時標示相應的標簽，賦予場景分類等功能。對于場景的定義為：它由以下幾部分組成，分別為場景名稱、語義集與權重、本體集和屬性集與權重；對數據進行場景分類，分至各自的場景當中。

2.4.2查詢匹配：有屬性查詢與語義查詢之分。其中，屬性查詢精確度較高，能以本體查詢結果為依據完成準確和快速查找；而語義查詢則屬于模糊查詢，是以用戶語義為依據的數據匹配。

2.4.3數據展示：具體可分成以下三種：動態顯示總體數據、實時顯示局部數據與有選擇性的顯示詳細數據。

2.5數據檢索

2.5.1以Hbase為基礎的空間索引，即根據不同數據具有的空間相關性進行索引構建。同時在各場景之下的數據根據相關性完成組織與管理。

2.5.2以HDFS為基礎的聚簇索引，對HDFS而言，它能對文件進行靈活存儲。為了給計算提供可靠數據，根據數據訪問需求設計數據分割方式，進行聚簇索引構建。

2.6可視化展示

對卡口、刷卡、GPS等的數據進行語義化處理，然后形成與客流、服務、安全等有關的可視化操作界面。可實現所有基礎設施、流量、服務及速度等信息的動態顯示，從而為用戶提供完善的信息服務。

3、結束語

智慧交通大數據系統可以很好的完成數據采集與積累，為實際的交通運行組織、協調、監控提供可靠的信息、技術支撐。系統功能十分豐富，除數據采集、數據融合、數據存儲、計算等常規功能外，還包括語義化處理、實時檢索與可視化顯示。通過對這一系統的合理應用，能對當前的交通大數據實施綜合分析與可視化動態顯示。對于交通行業而言，大數據服務有著良好的前景，是重要的新興服務業，可以促進相關產業快速發展。引入了大數據分析、高清監控等新技術的智慧交通現階段正處在快速發展重要時期，和人們日常生產生活有著十分密切的關系。

參考文獻：

[1]朱曉鳴，廖劉靚.大數據狀態下城市智慧交通的研究[J].電腦編程技巧與維護，2017（22）：58-59+73.

[2]杜圣東，楊燕，滕飛.交通大數據：一種基于微服務的敏捷處理架構設計[J].大數據，2017，3（03）：53-67.