寧夏交通數(shù)據(jù)中心大數(shù)據(jù)相關(guān)技術(shù)適用性研究

江海琦, 崔毓偉, 徐延軍

(1.寧夏公路管理局，銀川 750011；2.中海網(wǎng)絡(luò)科技股份有限公司，上海 200135)

0 引 言

寧夏回族自治區(qū)《關(guān)于推進(jìn)新一代數(shù)據(jù)中心建設(shè)發(fā)展的意見(jiàn)》提出，要逐步建成滿足寧夏內(nèi)陸開(kāi)放型經(jīng)濟(jì)發(fā)展需要，技術(shù)先進(jìn)、布局合理的新一代數(shù)據(jù)中心。選擇先進(jìn)合理的技術(shù)方案是寧夏交通數(shù)據(jù)中心建設(shè)指導(dǎo)思想中的關(guān)鍵問(wèn)題，而評(píng)價(jià)技術(shù)方案的先進(jìn)性與合理性必須具體到應(yīng)用背景和應(yīng)用技術(shù)中，不同應(yīng)用環(huán)境對(duì)技術(shù)標(biāo)準(zhǔn)的適用性各有差異。以具有典型海量數(shù)據(jù)特征的智能交通運(yùn)輸系統(tǒng)為背景，探討寧夏交通數(shù)據(jù)中心大數(shù)據(jù)相關(guān)技術(shù)的適用性問(wèn)題，為交通數(shù)據(jù)中心建設(shè)提供理論參考。

1 研究意義及目標(biāo)

大數(shù)據(jù)相關(guān)技術(shù)是國(guó)內(nèi)外熱門研究領(lǐng)域，其影響范圍涉及到眾多行業(yè)，其中交通領(lǐng)域就是典型的可以通過(guò)海量數(shù)據(jù)挖掘?qū)崿F(xiàn)智能管理和優(yōu)化服務(wù)的大數(shù)據(jù)應(yīng)用場(chǎng)景。配合寧夏交通數(shù)據(jù)中心建設(shè)，結(jié)合當(dāng)前技術(shù)發(fā)展趨勢(shì)，對(duì)其中關(guān)鍵技術(shù)進(jìn)行分析，通過(guò)分析論證總結(jié)關(guān)鍵技術(shù)適用性、適用的層次或方向，為寧夏交通數(shù)據(jù)中心建設(shè)實(shí)施過(guò)程中的技術(shù)選用提供參考。

2 大數(shù)據(jù)相關(guān)技術(shù)的應(yīng)用

大數(shù)據(jù)技術(shù)是指從海量的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)中快速獲得有價(jià)值信息的技術(shù)。由于龐大的數(shù)據(jù)量級(jí)和形式各異的數(shù)據(jù)結(jié)構(gòu)，傳統(tǒng)的數(shù)據(jù)處理方法不能適應(yīng)大數(shù)據(jù)的挖掘需求。因此在大數(shù)據(jù)采集、存儲(chǔ)、挖掘、應(yīng)用、展示等各個(gè)領(lǐng)域，不斷涌現(xiàn)出新技術(shù)。

2.1 大數(shù)據(jù)采集技術(shù)

大數(shù)據(jù)采集的重點(diǎn)是要突破分布式高速數(shù)據(jù)爬取、數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù)以及突破高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)。其中數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過(guò)程(Extract-Transform-Load，ETL)能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化的過(guò)程，是實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的重要步驟。

2.2 大數(shù)據(jù)存儲(chǔ)及管理技術(shù)

大數(shù)據(jù)存儲(chǔ)與管理技術(shù)重點(diǎn)要解決復(fù)雜結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、表示、處理、可靠性及有效傳輸?shù)汝P(guān)鍵問(wèn)題，因此需應(yīng)用新型數(shù)據(jù)庫(kù)技術(shù)。其中NoSQL數(shù)據(jù)庫(kù)(Not Only SQL，即“不僅是SQL”，泛指非關(guān)系型數(shù)據(jù)庫(kù))憑借其在高并發(fā)讀寫、海量數(shù)據(jù)高效率存儲(chǔ)和訪問(wèn)、高可擴(kuò)展性和高可用性等方面的優(yōu)勢(shì)發(fā)展非常迅速。

2.3 大數(shù)據(jù)挖掘分析技術(shù)

大數(shù)據(jù)挖掘分析計(jì)算就是從海量、非完整、有噪聲和隨機(jī)的數(shù)據(jù)中，提取隱含其中人們事先不知道、但又潛在有用的信息和知識(shí)的過(guò)程。針對(duì)數(shù)據(jù)挖掘分析出現(xiàn)的Hadoop處理平臺(tái)等關(guān)鍵技術(shù)給用戶帶來(lái)了更好的大數(shù)據(jù)處理方案。其中由于具備低成本和前所未有的高擴(kuò)展性，Hadoop已被公認(rèn)為是新一代的大數(shù)據(jù)處理平臺(tái)。

交通數(shù)據(jù)中心的信息資源來(lái)自眾多獨(dú)立的異構(gòu)系統(tǒng)，匯聚了海量的結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)，并且隨著移動(dòng)互聯(lián)技術(shù)的發(fā)展，系統(tǒng)與用戶間信息交互頻度的增加，非結(jié)構(gòu)化數(shù)據(jù)還會(huì)大幅增長(zhǎng)，因此交通數(shù)據(jù)中心建設(shè)需要特別重視對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理與挖掘分析。結(jié)合交通數(shù)據(jù)中心這一特點(diǎn)，主要分析NoSQL和 Hadoop兩個(gè)大數(shù)據(jù)關(guān)鍵技術(shù)的適用性。

3 NoSQL適用性分析

3.1 NoSQL與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的對(duì)比

關(guān)系型數(shù)據(jù)庫(kù)是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù)，借助于集合代數(shù)等概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)。NoSQL通常指數(shù)據(jù)以對(duì)象的形式存儲(chǔ)在數(shù)據(jù)庫(kù)中，而對(duì)象之間的關(guān)系通過(guò)每個(gè)對(duì)象自身的屬性決定。它以“鍵值對(duì)”的形式存儲(chǔ)，結(jié)構(gòu)不固定，每一個(gè)元組可以有不一樣的字段，每個(gè)元組可以根據(jù)需要增加自己的“鍵值對(duì)”，這樣就不會(huì)局限于固定的結(jié)構(gòu)，減少一些時(shí)間和空間的開(kāi)銷。使用這種方式，用戶可以根據(jù)情況添加自己需要的字段，而無(wú)需像關(guān)系型數(shù)據(jù)庫(kù)那樣對(duì)多表進(jìn)行關(guān)聯(lián)查詢，僅根據(jù)id取出相應(yīng)的字段就可以完成查詢。NoSQL和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的對(duì)比見(jiàn)表1。

3.2 NoSQL在交通數(shù)據(jù)中心建設(shè)中的適用性分析

通過(guò)上述對(duì)比，可以看出關(guān)系型數(shù)據(jù)庫(kù)用一種嚴(yán)格的數(shù)學(xué)模型來(lái)描述混亂的數(shù)據(jù)存儲(chǔ)關(guān)系。其查詢語(yǔ)言SQL通過(guò)簡(jiǎn)單直觀的語(yǔ)法，把各個(gè)實(shí)體間的關(guān)系明確表達(dá)出來(lái)。隨著數(shù)據(jù)規(guī)模的增長(zhǎng)，關(guān)系型數(shù)據(jù)庫(kù)逐漸遇到不適合的場(chǎng)景，其中主要的局限性包括數(shù)據(jù)模型僵硬、可擴(kuò)展性差、處理海量數(shù)據(jù)時(shí)的性能瓶頸和缺乏處理非結(jié)構(gòu)化數(shù)據(jù)的能力等。NoSQL發(fā)展時(shí)間較短，沒(méi)有形成行業(yè)標(biāo)準(zhǔn)及強(qiáng)有力的技術(shù)支持，因此NoSQL可作為對(duì)關(guān)系型數(shù)據(jù)庫(kù)的補(bǔ)充。

交通數(shù)據(jù)中心信息主要以結(jié)構(gòu)化數(shù)據(jù)為主，總的數(shù)據(jù)量為TB(硬盤容量單位)級(jí)，目前實(shí)時(shí)數(shù)據(jù)相對(duì)較少，各參與信息交換共享的單位間會(huì)產(chǎn)生一定的查詢需求，但并發(fā)讀寫要求不高。同時(shí)交通數(shù)據(jù)中心作為行業(yè)核心交換節(jié)點(diǎn)，對(duì)數(shù)據(jù)的一致性要求較高，并能為各服務(wù)單位提供統(tǒng)一、標(biāo)準(zhǔn)化的接口。隨著數(shù)據(jù)中心支撐業(yè)務(wù)多樣化、管理精細(xì)化的要求，尤其是通過(guò)門戶網(wǎng)站對(duì)外提供的信息服務(wù)業(yè)務(wù)種類的增加，并發(fā)訪問(wèn)量、與社會(huì)公眾的交互需求會(huì)不斷增加，非結(jié)構(gòu)化數(shù)據(jù)量、及對(duì)數(shù)據(jù)實(shí)時(shí)性要求將會(huì)逐漸增加。

表1 NoSQL和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的比較

因此，NoSQL在當(dāng)前交通數(shù)據(jù)中心的建設(shè)中還不適合全面鋪開(kāi)，仍應(yīng)主要采用關(guān)系型數(shù)據(jù)庫(kù)，但對(duì)于數(shù)據(jù)中心門戶網(wǎng)站的Web應(yīng)用可采用NoSQL作為關(guān)系型數(shù)據(jù)庫(kù)的補(bǔ)充，一方面滿足對(duì)非結(jié)構(gòu)化數(shù)據(jù)的采集，另一方面可滿足數(shù)據(jù)中心服務(wù)層業(yè)務(wù)功能不斷擴(kuò)展的需求。

4 Hadoop適用性分析

Hadoop是開(kāi)源的、可運(yùn)行于大規(guī)模集群上的分布式計(jì)算平臺(tái)，以HDFS和MapReduce為核心。HDFS高容錯(cuò)性、高伸縮性等優(yōu)點(diǎn)允許用戶將Hadoop部署在低廉的硬件上，形成分布式系統(tǒng)；MapReduce分布式編程模型允許用戶在不了解分布式系統(tǒng)底層細(xì)節(jié)的情況下開(kāi)發(fā)并運(yùn)行應(yīng)用程序。用戶可以利用Hadoop方便地組織計(jì)算機(jī)資源，搭建分布式計(jì)算平臺(tái)，并且可以充分利用集群的計(jì)算和存儲(chǔ)能力，完成海量數(shù)據(jù)的處理。

4.1 Hadoop與傳統(tǒng)數(shù)據(jù)存儲(chǔ)處理系統(tǒng)對(duì)比

HDFS的高容錯(cuò)特性以及基于Java語(yǔ)言的開(kāi)發(fā)背景，使得Hadoop可以部署在低廉的計(jì)算機(jī)集群中，同時(shí)不限于某個(gè)操作系統(tǒng)。在HDFS文件系統(tǒng)中，數(shù)據(jù)是分布式存儲(chǔ)在各個(gè)節(jié)點(diǎn)的。計(jì)算時(shí)各節(jié)點(diǎn)讀取和處理存儲(chǔ)在自己節(jié)點(diǎn)的數(shù)據(jù)，從而避免了大量數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸，實(shí)現(xiàn)“計(jì)算向存儲(chǔ)的遷移”，這對(duì)處理TB級(jí)的海量數(shù)據(jù)有很大的優(yōu)勢(shì)。

MapReduce將傳統(tǒng)的查詢、分解及數(shù)據(jù)分析進(jìn)行分布式處理，將處理任務(wù)分配到不同處理節(jié)點(diǎn)，通過(guò)大量廉價(jià)服務(wù)器即可實(shí)現(xiàn)大數(shù)據(jù)并行處理。其突出優(yōu)勢(shì)是具有高度的擴(kuò)展性和可用性，特別適用于海量的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的混合處理。表2為Hadoop與傳統(tǒng)數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的對(duì)比情況。

4.2 Hadoop在交通數(shù)據(jù)中心建設(shè)中的適用性分析

通過(guò)對(duì)Hadoop兩個(gè)重要組件HDFS、MapReduce的分析可以看出當(dāng)前Hadoop還不能完全替代傳統(tǒng)的數(shù)據(jù)存儲(chǔ)處理系統(tǒng)，但在功能上與傳統(tǒng)的數(shù)據(jù)存儲(chǔ)處理系統(tǒng)具有一定的互補(bǔ)特性。由于交通數(shù)據(jù)中心信息資源主要為海量的結(jié)構(gòu)化數(shù)據(jù)，目前非結(jié)構(gòu)化數(shù)據(jù)量較小，采用傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和處理技術(shù)基本能夠滿足對(duì)于結(jié)構(gòu)化數(shù)據(jù)的處理要求。但隨著數(shù)據(jù)中心業(yè)務(wù)的擴(kuò)展，非結(jié)構(gòu)化數(shù)據(jù)量將會(huì)快速增長(zhǎng)。從擴(kuò)展性及部署成本角度考慮，建議采用“傳統(tǒng)方式+Hadoop”模式，即：主要采用傳統(tǒng)方式實(shí)現(xiàn)對(duì)主要業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)、處理；當(dāng)數(shù)據(jù)中心的非結(jié)構(gòu)化數(shù)據(jù)達(dá)到一定量時(shí)，再部署Hadoop實(shí)現(xiàn)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和處理。

表2 Hadoop與傳統(tǒng)數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的比較

5 實(shí)例分析

基于上述研究，目前已經(jīng)在寧夏自治區(qū)交通系統(tǒng)開(kāi)展了部分基于關(guān)系型數(shù)據(jù)庫(kù)和Hadoop的研究應(yīng)用，對(duì)現(xiàn)有收費(fèi)系統(tǒng)數(shù)據(jù)的挖掘即是其中一例。隨著我國(guó)高速公路建設(shè)和聯(lián)網(wǎng)收費(fèi)系統(tǒng)的不斷發(fā)展，收費(fèi)數(shù)據(jù)的規(guī)模和復(fù)雜度也逐年增長(zhǎng)。利用大數(shù)據(jù)技術(shù)，對(duì)海量收費(fèi)數(shù)據(jù)進(jìn)行挖掘，找出獨(dú)立收費(fèi)流水中的關(guān)聯(lián)，對(duì)高速公路偷逃費(fèi)治理、提升管理精細(xì)化水平以及為決策提供數(shù)據(jù)支持等方面，都有重要意義。

5.1 需求

針對(duì)高速公路管理單位關(guān)注的特殊類型通行記錄、司機(jī)利用倒卡手段偷逃通行費(fèi)、貨車假軸分析等方面，從異常流水和正常流水中，通過(guò)數(shù)據(jù)挖掘技術(shù)分析出問(wèn)題車輛，并根據(jù)分析結(jié)果，下鉆至原始通行記錄進(jìn)行確認(rèn)核實(shí)。

5.2 功能

5.2.1 各種特殊類型通行記錄統(tǒng)計(jì)分析

包括對(duì)各特殊類型車輛進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，對(duì)各收費(fèi)站的各種特殊車輛進(jìn)行統(tǒng)計(jì)，也可以從收費(fèi)站、收費(fèi)車道、收費(fèi)員三維度對(duì)各條高速公路的特殊車輛信息進(jìn)行統(tǒng)計(jì)，對(duì)特殊車輛的收費(fèi)員工號(hào)進(jìn)行匯總統(tǒng)計(jì)，還可以對(duì)出口流水中軸型及其車流量信息進(jìn)行統(tǒng)計(jì)。

5.2.2 車輛偷逃通行費(fèi)稽查分析

對(duì)各類特殊車輛進(jìn)行稽查統(tǒng)計(jì)(包括對(duì)超時(shí)車中車牌不符、車型不符的車輛統(tǒng)計(jì))，對(duì)收費(fèi)車變免費(fèi)車、車卡不符的公務(wù)車進(jìn)行統(tǒng)計(jì)，還可以對(duì)貨車計(jì)重偏差較大的車輛按車牌進(jìn)行統(tǒng)計(jì)，對(duì)長(zhǎng)途輕載車輛、短途重載車輛按車牌進(jìn)行分析。

5.2.3 貨車疑似假軸分析

通過(guò)對(duì)海量歷史數(shù)據(jù)的分析，找出各類軸型車輛軸序軸重所占比例，并根據(jù)新增數(shù)據(jù)不斷完善，對(duì)車輛通行記錄進(jìn)行分析，從收費(fèi)站、車牌號(hào)碼等維度對(duì)疑似假軸車輛進(jìn)行識(shí)別。為路政部門追蹤和管理假軸車輛提供數(shù)據(jù)支持。

5.3 結(jié)果分析

通過(guò)對(duì)用戶設(shè)定的時(shí)間段內(nèi)數(shù)據(jù)的抽取與匯總，得到各類型特殊車輛按收費(fèi)車道進(jìn)行統(tǒng)計(jì)的車流量，對(duì)收費(fèi)車道特殊類型車輛的判別情況提供依據(jù)(見(jiàn)圖1)。

圖1 一段時(shí)間內(nèi)各種特殊類型車輛統(tǒng)計(jì)圖(按收費(fèi)車道)

通過(guò)分析特定車輛的歷史計(jì)重?cái)?shù)據(jù)，統(tǒng)計(jì)出車輛在歷次通行記錄中的車重情況，對(duì)比最大車重、最小車重、平均車重和最大車重與最小車重的比例關(guān)系(見(jiàn)圖2)，得出車輛車重的變化情況，為車輛超重超載等情況的判定提供數(shù)據(jù)依據(jù)。

圖2 貨車計(jì)重偏差較大車輛分析結(jié)果

部分貨車為了偷逃通行費(fèi)，采用增加假軸的方式，改變軸型，達(dá)到減少通行費(fèi)的目的。系統(tǒng)通過(guò)分析各個(gè)貨車歷史軸型與軸重?cái)?shù)據(jù)(見(jiàn)圖3)，結(jié)合標(biāo)準(zhǔn)軸型信息及其限重值，分析貨車軸重所占車輛總重的比例，得出可能存在假軸車輛的軸型與假軸軸序信息。

為了對(duì)假軸車輛信息進(jìn)行整體展示，以可疑假軸車輛數(shù)據(jù)為依據(jù)(見(jiàn)圖4)，從收費(fèi)站和軸型兩維度，展示可疑假軸車輛的分布情況。

圖3 可疑假軸車輛分析結(jié)果

圖4 一段時(shí)間內(nèi)各收費(fèi)站假軸車輛匯總統(tǒng)計(jì)

6 結(jié) 語(yǔ)

大數(shù)據(jù)理念近年來(lái)受到廣泛關(guān)注，相關(guān)技術(shù)正從理論層面邁向應(yīng)用，交通領(lǐng)域正是大數(shù)據(jù)技術(shù)最具發(fā)展?jié)摿Φ牡湫蛻?yīng)用之一。交通數(shù)據(jù)中心建設(shè)必然需要解決大數(shù)據(jù)相關(guān)技術(shù)選型的問(wèn)題。首先描述了大數(shù)據(jù)相關(guān)技術(shù)的總體情況，然后在詳細(xì)比較了NoSQL和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)區(qū)別的基礎(chǔ)上，分析了NoSQL技術(shù)在交通數(shù)據(jù)中心建設(shè)中的適用性；比較了Hadoop和傳統(tǒng)數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的差異，并分析了Hadoop的適用性問(wèn)題。研究結(jié)果有助于深入理解交通數(shù)據(jù)中心建設(shè)中關(guān)鍵技術(shù)的選擇標(biāo)準(zhǔn)。

參考文獻(xiàn)：

[1] 林樹(shù)地，吳揚(yáng)揚(yáng). 基于Hadoop的C4.5決策樹(shù)分類算法并行化[J]. 微型機(jī)與應(yīng)用,2013(12)：89-91.

[2] 亢麗蕓. 基于Heritrix與Hadoop的海量網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)獲取及并行處理研究[D]. 淄博: 山東理工大學(xué),2012.

[3] 李銘果. 面向社區(qū)服務(wù)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].西安:西安電子科技大學(xué),2010.

[4] 趙俊. ETL在數(shù)據(jù)中心中的設(shè)計(jì)與實(shí)現(xiàn)[D].上海: 東華大學(xué),2010.

[5] 陳健. 數(shù)據(jù)挖掘技術(shù)在交叉銷售中的應(yīng)用[D].蘇州: 蘇州大學(xué),2009.