高速公路大數(shù)據(jù)處理現(xiàn)狀與挑戰(zhàn)分析

吳順剛

貴州高速公路集團有限公司，貴州 貴陽 550000

高速公路大數(shù)據(jù)處理現(xiàn)狀與挑戰(zhàn)分析

吳順剛

貴州高速公路集團有限公司，貴州 貴陽 550000

高速公路有著“經(jīng)濟大動脈”的別稱，在全國的公路網(wǎng)中占據(jù)著十分重要的地位，并發(fā)揮著極為重要的作用。通常情況下，在高速公路日常運營的過程中，每天都會有大規(guī)模的數(shù)據(jù)產(chǎn)生，且這些數(shù)據(jù)的增長速度越來越快，給數(shù)據(jù)的分析與儲存帶來了嚴峻的挑戰(zhàn)。其中，高速公路大數(shù)據(jù)主要是由異構(gòu)的、海量的數(shù)據(jù)構(gòu)成。因此，如何高效、科學、合理地對這些大數(shù)據(jù)進行正確訪問、分析、儲存，以便能更好地為交通提供高效的服務，已成為了一個迫切需要解決的客觀性問題。基于此，主要對高速公路運營的過程中所產(chǎn)生的大數(shù)據(jù)來源、具體特點進行了討論，并對大數(shù)據(jù)的相關(guān)處理技術(shù)、數(shù)據(jù)的意義以及將會面臨的一系列問題與挑戰(zhàn)等進行了深入探究。

公路橋梁；養(yǎng)護；措施

引言

隨著我國經(jīng)濟的發(fā)展，高速公路運輸正朝著現(xiàn)代化和智能化的方向發(fā)展。為了使高速公路交通在出行服務、安全應急等方面得到更好地發(fā)展，必須注重對相關(guān)的大數(shù)據(jù)進行深度分析，以便從中獲得更多的信息，真正實現(xiàn)數(shù)據(jù)為決策者服務的目的，并使高速公路的管理能力與運營效率得到大幅度提升。

1 大數(shù)據(jù)的來源

（1）視頻監(jiān)控系統(tǒng)數(shù)據(jù)。指的是高速公路收費站、隧道內(nèi)以及道路兩旁設置的監(jiān)控攝像頭所產(chǎn)生的大量視頻數(shù)據(jù)。（2）傳感器數(shù)據(jù)。高速公路上分布著大量的標識站、路感線圈，且在收費站的入口與出口處安裝了RFID傳感器，能夠感知行經(jīng)車輛，從而產(chǎn)生源源不斷的數(shù)據(jù)。（3）應用系統(tǒng)數(shù)據(jù)。高速公路收費站的管理軟件、各路公司以及收費站所運行的稽核軟件、12122呼叫系統(tǒng)等也在不斷生成數(shù)據(jù)。（4）聯(lián)網(wǎng)收費軟件數(shù)據(jù)。各條高速公路上均存在相當數(shù)量的收費站，且各個收費站的收費車道均有數(shù)十條不等，收費車道上運行收費軟件同樣生成了數(shù)量龐大的數(shù)據(jù)。

2 高速公路大數(shù)據(jù)的特征

（1）高速性。即處理數(shù)據(jù)時應確保高效。例如收費站應及時將收費數(shù)據(jù)傳輸至結(jié)算中心，對于擁堵路段，系統(tǒng)應準確快速地獲取相關(guān)信息并進行分析。（2）價值密度低。盡管數(shù)據(jù)量龐大，但有價值的數(shù)據(jù)并不多。視頻監(jiān)控系統(tǒng)每天都會生成眾多數(shù)據(jù)，但有用的數(shù)據(jù)僅為幾分鐘或幾秒，故通過對異常數(shù)據(jù)的分析有助于對路網(wǎng)的異常現(xiàn)象進行判斷[1]。（3）多樣性。高速公路所生成的數(shù)據(jù)種類豐富，有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、視頻數(shù)據(jù)及其他相關(guān)信息等，如交通管制、安全事件、交通環(huán)境、天氣狀況、地質(zhì)災害等。（4）規(guī)模龐大。筆者選擇四川高速進行說明，每天經(jīng)收費站的車輛至少為 200萬量，且監(jiān)控系統(tǒng)會對車輛進行拍照，圖片大小為500KB/張。因此累積的圖片數(shù)量約為300TB/年，且隨著社會的發(fā)展，相關(guān)數(shù)據(jù)也在不斷增加。

3 大數(shù)據(jù)的相關(guān)處理技術(shù)

（1）大數(shù)據(jù)研究的意義。隨著時代的發(fā)展，人們可以借助大數(shù)據(jù)實現(xiàn)宏觀、持續(xù)地分析，從而挖掘更多的知識，進而為其決策提供依據(jù)與支持。

作為最早使用大數(shù)據(jù)的一大企業(yè)，沃爾瑪在大數(shù)據(jù)方面進行了較大的投資，并獲得了較大的回報。其運用大數(shù)據(jù)分析Carlie Brown與Source兩大超市消費者的購買意向時，發(fā)現(xiàn)其意向正逐漸轉(zhuǎn)向高檔品，因此，沃爾瑪及時地對兩家超市的庫存進行了調(diào)整，從而使銷售業(yè)績獲得了40%的提升[2]。而在我國，淘寶每天的數(shù)據(jù)量均高達10 TB，且其每年雙十一的成交額均高達上百億，之所以會獲得如此優(yōu)異的成績，離不開其對數(shù)據(jù)（歷史數(shù)據(jù)、搜索習慣、消費習慣等）的分析。眾多現(xiàn)象表明，電子商務領域與大數(shù)據(jù)有著密切地關(guān)聯(lián)，其成功運營離不開大數(shù)據(jù)分析。因此，在交通運輸領域同樣應強化對大數(shù)據(jù)的應用，從而加快高速公路的現(xiàn)代化與智能化，使安全預警、交通疏導等工作得以更好地進行[1]。

（2）并行數(shù)據(jù)庫。該數(shù)據(jù)庫始于上世紀80年代，主要借助關(guān)系的形式來對結(jié)構(gòu)化數(shù)據(jù)進行存儲，均支持SQL語言。借助SQL，能夠使并行數(shù)據(jù)和外界進行良好地交互。并行數(shù)據(jù)在過去的三十多年內(nèi)獲得了較大的發(fā)展，目前，其功能也在日益增多，但是高速公路網(wǎng)正逐年擴大，其生成的數(shù)據(jù)已超越了并行數(shù)據(jù)的處理范圍，且在處理非結(jié)構(gòu)化數(shù)據(jù)方面，并行數(shù)據(jù)存在一定的缺陷，究其原因主要是擴展性偏差。

（3）云計算。該技術(shù)由網(wǎng)絡計算、并行計算、分布式計算發(fā)展而來，數(shù)據(jù)的并行處理與海量數(shù)據(jù)存儲是其核心，該技術(shù)具有較強的可行性。云計算的數(shù)據(jù)存儲技術(shù)包括兩種：一是Hadoop的HDFS，功能與DFS類似，屬于開源系統(tǒng)，眾多互聯(lián)網(wǎng)公司（淘寶、雅虎等）均使用該系統(tǒng)。二是分布式文件系統(tǒng)GFS，該系統(tǒng)屬于應用經(jīng)濟性服務器創(chuàng)建的集群，且擁有高擴展性、高可用性以及高性能的特點，然而不開源。

為了能夠?qū)Υ髷?shù)據(jù)進行更好地處理，應采用特定編程模型，2004年Google研發(fā)的MapReduce有效地使分布式編程簡化，系統(tǒng)能夠完成任務調(diào)度以及各類復雜的并行處理，程序員僅需關(guān)注程序邏輯的實現(xiàn)。用戶在編程時僅需實現(xiàn)Reduce函數(shù)與Map 函數(shù)，前者指的是處理分塊數(shù)據(jù)，后者則指定需處理的數(shù)據(jù)塊。MapReduce框架能夠?qū)?shù)據(jù)實施自動分塊、調(diào)度以及執(zhí)行。借助MapReduce與GFS，Google每日能夠處理20PB數(shù)據(jù)，利用 MapReduce能在多方面（商業(yè)智能分析、日志分析、數(shù)據(jù)分析等）實現(xiàn)極佳的效果。

4 機遇和挑戰(zhàn)

（1）大數(shù)據(jù)存儲。盡管Hadoop中的HDFS系統(tǒng)可用于高速公路所生成的大數(shù)據(jù)的存儲，然而卻無法滿足其實時性需求，故應對有關(guān)數(shù)據(jù)實施分類，以多種形式進行存儲。對于實時性有較高要求的數(shù)據(jù)，應將其存儲至實時數(shù)據(jù)庫內(nèi)，而業(yè)務數(shù)據(jù)、對實時性并無太高要求的數(shù)據(jù)則應將其存儲至并行數(shù)據(jù)庫。眾多非結(jié)構(gòu)化數(shù)據(jù)、歷史數(shù)據(jù)則應存儲至HDFS系統(tǒng)內(nèi)。此外高速公路網(wǎng)記錄的大數(shù)據(jù)具備數(shù)據(jù)生成較快的特點，并對分析響應具有較高的要求，故應研究此類數(shù)據(jù)的存儲方式，以便展開后續(xù)分析。（2）展現(xiàn)大數(shù)據(jù)。經(jīng)分析后的高速公路大數(shù)據(jù)，能將多方信息傳達給用戶，作為數(shù)據(jù)處理的最后一大環(huán)節(jié)，使信息以有效直觀的形式呈現(xiàn)出來是一件極具挑戰(zhàn)性的事情，若缺乏良好的用戶體驗則會降低系統(tǒng)的實用性。故在對人機交互界面進行設計時，應注重設計的科學性[2]。

5 結(jié)語

本文就高速公路網(wǎng)所生成的大量數(shù)據(jù)的分析方法與存儲方式，如實時數(shù)據(jù)庫、并行數(shù)據(jù)庫、云平臺等，實時數(shù)據(jù)庫、并行數(shù)據(jù)庫處理大數(shù)據(jù)時具有迅速、高度擴展性、成本較低等特點，實現(xiàn)了海量存儲與實時處理的目的。然而在我國大數(shù)據(jù)仍處于起步階段，尚未對大數(shù)據(jù)進行應用。因此在大數(shù)據(jù)的存儲、可靠性分析以及實際運用方面仍面臨較多的困難與挑戰(zhàn)，高速公路網(wǎng)所積累的眾多數(shù)據(jù)所采用的存儲模式資源利用率、大數(shù)據(jù)處理、抗風險等方面仍有較大的發(fā)展空間。故值得相關(guān)人員進行進一步的探究，從而推進高速公路大數(shù)據(jù)的使用。

[1]林艷.大數(shù)據(jù)在我國高速公路中的應用探討[J].北方交通，2016（5）：162-164.

[2]曾海祥.大數(shù)據(jù)時代的高速公路運營[J].新經(jīng)濟，2015（20）：89.

Analysis on the Present Situation and Challenge of Large Data Processing in Expressway

Wu Shungang
Guizhou Expressway Group Co., Ltd., Guizhou Guiyang 550000

Highway has the name of “economic artery”, which occupies a very important position in the national highway network, and plays a very important role.Usually, in the process of Expressway daily operation, every day there will be massive data, and these data is growing faster and faster, has brought serious challenges to the storage and analysis of data.Among them, the highway big data is mainly composed of heterogeneous, massive data.Therefore, how to efficiently and scientifically and reasonably correct access, analysis and storage of these large data, in order to provide better and efficient services for transportation, has become an urgent need to address the problem of objectivity.The specific characteristics of large data sources, this paper mainly produced in the process of expressway operation are discussed, and the related processing technology, on the face of big data and the significance of the data will be a series of problems and challenges in-depth research, the specific content of inquiry for the following exposition.

highway bridge; maintenance; measure

P208

A

1009-6434（2017）3-0145-02