道路設(shè)施、運(yùn)行與安全大數(shù)據(jù)智能分析平臺(tái)研究與設(shè)計(jì)

陳岳峰

(福建省高速公路集團(tuán)有限公司，福州 350001)

近10 年來(lái)， 我國(guó)道路交通事故起數(shù)與死亡人數(shù)、萬(wàn)車(chē)死亡率等指標(biāo)整體呈現(xiàn)下降趨勢(shì)，但當(dāng)前事故仍頻發(fā)，國(guó)民生命財(cái)產(chǎn)安全需要保障。 全面建成小康社會(huì)中一項(xiàng)社會(huì)指標(biāo)是非正常死亡率， 而交通事故死亡占我國(guó)非正常死亡人數(shù)中較大的一部分，有效、持續(xù)降低交通事故死亡人數(shù)，對(duì)于我國(guó)社會(huì)經(jīng)濟(jì)全面發(fā)展具有突出意義。

交通事故的超強(qiáng)隨機(jī)性和復(fù)雜誘因， 涉及到道路設(shè)施、交通運(yùn)行、天氣環(huán)境、交通行為等方方面面，導(dǎo)致安全風(fēng)險(xiǎn)是最難以預(yù)測(cè)的現(xiàn)象之一，同時(shí)，交通事故是典型的觀測(cè)科學(xué)，大數(shù)據(jù)平臺(tái)是突破安保關(guān)鍵技術(shù)的關(guān)鍵。風(fēng)險(xiǎn)防控的關(guān)鍵在于實(shí)現(xiàn)“先知、先覺(jué)、先控”，而實(shí)現(xiàn)的前提是“全知、全覺(jué)、全控”，因此建立完整覆蓋安全風(fēng)險(xiǎn)各要素的、不同來(lái)源和形式數(shù)據(jù)相互融合的大數(shù)據(jù)平臺(tái)，也是十分必要的。

目前，國(guó)內(nèi)外已經(jīng)收集、積累了大量的道路設(shè)施、道路交通運(yùn)行數(shù)據(jù)， 比如美國(guó)的公路安全信息系統(tǒng)(Highway Safety Information System， HSIS)[1]、 聯(lián)合國(guó)亞太經(jīng)濟(jì)社會(huì)委員會(huì)牽頭建立的 “亞洲公路數(shù)據(jù)庫(kù)(Asia Highway Database)”[2]、美國(guó)伊利諾伊州交通廳開(kāi)展的“實(shí)現(xiàn)公路零死亡”(Driving Zero Fatalities to a Reality)項(xiàng)目[3]、歐盟的“提供全歐盟范圍實(shí)時(shí)交通信息服務(wù)”(Provision of EU-Wide Real-Time Traffic Information Services)[4]、中國(guó)道路風(fēng)險(xiǎn)評(píng)估系統(tǒng)ChinaRAP[5-6]、北京市交通運(yùn)行監(jiān)測(cè)調(diào)度中心(TOCC)的路網(wǎng)運(yùn)行監(jiān)測(cè)系統(tǒng)、交通運(yùn)輸部路況管理信息系統(tǒng)等[7]。 但數(shù)據(jù)的管理與深度挖掘應(yīng)用尚淺，現(xiàn)有數(shù)據(jù)庫(kù)多為單一的基礎(chǔ)設(shè)施、事故、交通運(yùn)行、天氣等的數(shù)據(jù)庫(kù)，沒(méi)有多種類(lèi)數(shù)據(jù)源融合的多源異構(gòu)數(shù)據(jù)庫(kù)；現(xiàn)有數(shù)據(jù)集中存在大量的非結(jié)構(gòu)化數(shù)據(jù)(例如視頻數(shù)據(jù))，均未得到很好地結(jié)構(gòu)化處理，尚未發(fā)揮應(yīng)有的巨大潛能；現(xiàn)有數(shù)據(jù)庫(kù)大多屬于傳統(tǒng)的數(shù)據(jù)庫(kù)模式， 尚未建立起現(xiàn)代大數(shù)據(jù)架構(gòu)，在數(shù)據(jù)規(guī)模積累越來(lái)越大的情況下，現(xiàn)有系統(tǒng)難以對(duì)數(shù)據(jù)進(jìn)行有效地管理、處理和分析；尤為突出的是，現(xiàn)有的傳統(tǒng)模式數(shù)據(jù)庫(kù)彼此孤立，不同數(shù)據(jù)源之間無(wú)法實(shí)現(xiàn)信息融合，從而為數(shù)據(jù)聯(lián)合分析與應(yīng)用制造了障礙。

為了解決公路基礎(chǔ)設(shè)施、交通運(yùn)行與安全等跨部門(mén)、跨行業(yè)的數(shù)據(jù)融合技術(shù)問(wèn)題， 本文攻克道路設(shè)施與運(yùn)行相關(guān)的大數(shù)據(jù)的融合、清洗與增補(bǔ)技術(shù)，建立數(shù)據(jù)融合與智能監(jiān)管功能界面，建成多源異構(gòu)數(shù)據(jù)平臺(tái)，突破交通安全保障全過(guò)程、全環(huán)節(jié)的數(shù)據(jù)統(tǒng)籌與科學(xué)管理關(guān)鍵技術(shù)，可作為國(guó)家、區(qū)域、地方等不同層級(jí)的公路安全評(píng)價(jià)及公路設(shè)施安全提升的工作基礎(chǔ)， 也可成為高速公路各項(xiàng)數(shù)據(jù)的存儲(chǔ)數(shù)據(jù)庫(kù)與展示平臺(tái)。

1 數(shù)據(jù)庫(kù)需求分析

1.1 用戶定位與應(yīng)用場(chǎng)景分析

大數(shù)據(jù)智能分析平臺(tái)為一個(gè)大數(shù)據(jù)平臺(tái)加上3 項(xiàng)應(yīng)用技術(shù)： 應(yīng)用技術(shù)1 “駕駛模擬與虛擬現(xiàn)實(shí)交通安全評(píng)價(jià)”、應(yīng)用技術(shù)2“道路設(shè)計(jì)與運(yùn)行風(fēng)險(xiǎn)評(píng)估”、應(yīng)用技術(shù)3“事件管控與應(yīng)急處置”，潛在的用戶涵蓋了部、省、地市各級(jí)道路交通行業(yè)主管部門(mén)和公路運(yùn)營(yíng)管理實(shí)體公司等。

應(yīng)用技術(shù)1 潛在的用戶主要為各級(jí)道路交通行業(yè)主管部門(mén)、公路運(yùn)營(yíng)管理實(shí)體公司及大型車(chē)企等，其成果可應(yīng)用于安評(píng)項(xiàng)目及車(chē)載終端產(chǎn)品研發(fā)。

應(yīng)用技術(shù)2 的核心應(yīng)用領(lǐng)域有3 個(gè)：安評(píng)項(xiàng)目、生命防護(hù)工程項(xiàng)目、智慧道路建設(shè)項(xiàng)目及智慧應(yīng)急保障項(xiàng)目，其成果用于完成3 個(gè)核心業(yè)務(wù)：在安全項(xiàng)目中，用為安全評(píng)價(jià)的數(shù)學(xué)模型和應(yīng)用系統(tǒng)；在生命防護(hù)工程項(xiàng)目中，用為風(fēng)險(xiǎn)評(píng)估的數(shù)學(xué)模型和應(yīng)用系統(tǒng)； 在智慧城市或智慧道路建設(shè)項(xiàng)目中， 用為實(shí)時(shí)風(fēng)險(xiǎn)預(yù)測(cè)和事故預(yù)防預(yù)警的數(shù)學(xué)模型和應(yīng)用系統(tǒng)，在應(yīng)急保障項(xiàng)目中，用為事件智慧管控與應(yīng)急處置的數(shù)學(xué)模型和應(yīng)用系統(tǒng)。

應(yīng)用技術(shù)3 潛在的用戶主要為高速公路交通主管單位，包括路段級(jí)管理單位和路網(wǎng)級(jí)管理單位，應(yīng)用場(chǎng)景主要為高速公路特殊事件下的管控和應(yīng)急處置， 其成果用于完成1 個(gè)核心業(yè)務(wù)： 為高速公路發(fā)生特殊事件下管控及應(yīng)急處置提供方案庫(kù)、對(duì)策庫(kù)及匹配算法。

1.2 業(yè)務(wù)流程分析

業(yè)務(wù)環(huán)節(jié)涵蓋交通事故的事前、事中、事后等各環(huán)節(jié)的安全分析與決策支持， 從道路交通行業(yè)的業(yè)務(wù)環(huán)節(jié)中劃分，即涵蓋了道路設(shè)施設(shè)計(jì)、運(yùn)營(yíng)和養(yǎng)護(hù)的各個(gè)環(huán)節(jié)之中，整體的業(yè)務(wù)流程如圖1 所示。

圖1 平臺(tái)整體業(yè)務(wù)流程

1.3 數(shù)據(jù)使用流程分析

大數(shù)據(jù)智能分析平臺(tái)整體的數(shù)據(jù)流程如圖2 所示。

圖2 平臺(tái)整體數(shù)據(jù)流程

整體數(shù)據(jù)流向采用“分-合-分”的形態(tài)。 在底層數(shù)據(jù)庫(kù)方面，應(yīng)用技術(shù)1、2、3 各自建立數(shù)據(jù)集，單獨(dú)開(kāi)發(fā)形成數(shù)據(jù)庫(kù)。 應(yīng)用技術(shù)1 匯聚自身業(yè)務(wù)所需數(shù)據(jù)源，形成“道路特征與駕駛行為數(shù)據(jù)庫(kù)”； 應(yīng)用技術(shù)2 匯聚自身業(yè)務(wù)所需數(shù)據(jù)源， 形成 “道路設(shè)施數(shù)據(jù)庫(kù)”“交通事故數(shù)據(jù)庫(kù)”“交通運(yùn)行(交通流)數(shù)據(jù)庫(kù)”及“道路環(huán)境數(shù)據(jù)庫(kù)”等4 個(gè)底層數(shù)據(jù)庫(kù)，然后再整合形成“道路設(shè)施與交通運(yùn)行動(dòng)態(tài)風(fēng)險(xiǎn)預(yù)測(cè)預(yù)警數(shù)據(jù)平臺(tái)”；應(yīng)用技術(shù)3 匯聚自身業(yè)務(wù)所需數(shù)據(jù)源，形成“道路交通事件管控與應(yīng)急處置數(shù)據(jù)庫(kù)”。

上述3 個(gè)數(shù)據(jù)庫(kù)系統(tǒng)按照分布式、本地化的原則，與包括CAD 設(shè)計(jì)文件、視頻流數(shù)據(jù)、圖像資料、文本文件等其它多源異構(gòu)數(shù)據(jù)源統(tǒng)一經(jīng)過(guò)大數(shù)據(jù)平臺(tái) “分布式文件系統(tǒng)”和“資源調(diào)配”的流程，最終設(shè)計(jì)形成大數(shù)據(jù)架構(gòu)，匯集形成“道路設(shè)施、運(yùn)行與安全多源融合數(shù)據(jù)庫(kù)”。

2 數(shù)據(jù)庫(kù)設(shè)計(jì)與信息處理

平臺(tái)對(duì)所有能獲取的道路設(shè)施、 運(yùn)行與安全多源數(shù)據(jù)按設(shè)計(jì)流程(圖3)進(jìn)行整理和分析，包括數(shù)據(jù)鑒別、數(shù)據(jù)分類(lèi)、數(shù)據(jù)清洗(含增補(bǔ))、數(shù)據(jù)處理、數(shù)據(jù)重構(gòu)、數(shù)據(jù)融合等(圖4～5)，并將數(shù)據(jù)分類(lèi)存儲(chǔ)到云平臺(tái)上。

3 大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)

整體大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)如圖6 所示， 該平臺(tái)主要分為數(shù)據(jù)集成層、文件存儲(chǔ)層、數(shù)據(jù)存儲(chǔ)層、編程模型層、數(shù)據(jù)分析層、應(yīng)用層。

圖3 道路設(shè)施、運(yùn)行與安全多源融合數(shù)據(jù)庫(kù)設(shè)計(jì)流程

圖4 數(shù)據(jù)鑒別與需求分類(lèi)流程(部分)

圖5 數(shù)據(jù)清洗與數(shù)據(jù)處理流程(部分)

圖6 大數(shù)據(jù)智能分析平臺(tái)架構(gòu)

(1)數(shù)據(jù)集成層

對(duì)底層數(shù)據(jù)庫(kù)的融合與集成， 共包括了五大類(lèi)數(shù)據(jù)庫(kù)：道路設(shè)施數(shù)據(jù)庫(kù)、道路交通事故數(shù)據(jù)庫(kù)、道路交通運(yùn)行數(shù)據(jù)庫(kù)、道路環(huán)境數(shù)據(jù)庫(kù)、駕駛模擬數(shù)據(jù)庫(kù)。其中，道路設(shè)施數(shù)據(jù)庫(kù)涵蓋道路線形、路面、路側(cè)、交通防護(hù)及安保設(shè)施、交通控制設(shè)施等的數(shù)據(jù)集；道路交通事故數(shù)據(jù)庫(kù)涵蓋交通事故的準(zhǔn)確時(shí)間、地點(diǎn)、形態(tài)、嚴(yán)重程度、傷亡人數(shù)、財(cái)產(chǎn)損失等；道路交通運(yùn)行數(shù)據(jù)庫(kù)涵蓋交通運(yùn)行動(dòng)態(tài)數(shù)據(jù)，包括流量、速度、占有率等，其時(shí)間粒度為5 min；道路環(huán)境數(shù)據(jù)主要是指公路交通氣象， 涵蓋溫度、 濕滑系數(shù)、路面狀態(tài)、相對(duì)濕度、風(fēng)向、風(fēng)速、水量、冰量、雪量、能見(jiàn)度、空氣溫度、路面溫度等指標(biāo)，以及特殊交通天氣現(xiàn)象例如“團(tuán)霧”等的數(shù)據(jù)；駕駛模擬數(shù)據(jù)庫(kù)主要是駕駛模擬、虛擬現(xiàn)象實(shí)驗(yàn)中產(chǎn)生的大量數(shù)據(jù)，作為現(xiàn)實(shí)道路采集數(shù)據(jù)的有效補(bǔ)充，尤其突出的是虛擬現(xiàn)實(shí)、駕駛模擬中能夠產(chǎn)生在現(xiàn)實(shí)世界中尚未采集到的極限區(qū)間的數(shù)據(jù)(例如特大交通量等)。

(2)文件存儲(chǔ)層

采用Hadoop HDFS 負(fù)責(zé)道路設(shè)施與運(yùn)行大數(shù)據(jù)的存儲(chǔ)系統(tǒng)，利用Hadoop 的負(fù)載均衡特性把海量數(shù)據(jù)存儲(chǔ)到不同的存儲(chǔ)子節(jié)點(diǎn)上。 HDFS 支持流式數(shù)據(jù)訪問(wèn)和存儲(chǔ)超大文件，并且負(fù)責(zé)提供日志收集系統(tǒng)(flume)、數(shù)據(jù)相移工具(sqoop)、 分布式應(yīng)用程序協(xié)調(diào)工具(zookeeper)、Hbase 等高層應(yīng)用。

(3)數(shù)據(jù)存儲(chǔ)層

采用Hadoop Yarn 作為通用資源管理器， 為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。

(4)編程模型層

可以有兩個(gè)選項(xiàng)， 分別是MapReduce 計(jì)算框架和Spark 計(jì)算框架。 本文當(dāng)前傾向選用Spark 計(jì)算框架，在實(shí)際運(yùn)行中將根據(jù)數(shù)據(jù)和建模的需求， 評(píng)估這兩個(gè)計(jì)算框架的適用性，最終選用一個(gè)最適合的計(jì)算框架。

(5)數(shù)據(jù)分析層

視編程模型的選擇而定。 如果選擇MapReduce 計(jì)算框架，則在數(shù)據(jù)分析層集成了Hive 數(shù)據(jù)分析、Pig 數(shù)據(jù)分析、Mahout 機(jī)器學(xué)習(xí)；如果采用Spark 計(jì)算框架，則提供多種大數(shù)據(jù)分析方法，包括：聚類(lèi)分析、預(yù)測(cè)性分析、數(shù)據(jù)挖掘、數(shù)據(jù)管理等。

(6)應(yīng)用層

包括虛擬現(xiàn)實(shí)與駕駛模擬交通安全評(píng)價(jià)應(yīng)用系統(tǒng)、道路設(shè)施與運(yùn)行動(dòng)態(tài)風(fēng)險(xiǎn)預(yù)測(cè)預(yù)警應(yīng)用系統(tǒng)以及道路交通事件智慧管控與應(yīng)急處置應(yīng)用系統(tǒng)。

4 大數(shù)據(jù)平臺(tái)開(kāi)發(fā)與實(shí)現(xiàn)

為建立面向大數(shù)據(jù)存儲(chǔ)與處理、 面向前沿技術(shù)和實(shí)際應(yīng)用的大數(shù)據(jù)平臺(tái)， 基于阿里云、Hadoop 平臺(tái)框架及C#、MySQL、Python、Node.js 等多種工具進(jìn)行界面設(shè)計(jì)和功能完善， 大數(shù)據(jù)平臺(tái)已基本能實(shí)現(xiàn)云數(shù)據(jù)的可視化和智能化統(tǒng)計(jì)分析，并具備道路安全評(píng)價(jià)、交通運(yùn)行風(fēng)險(xiǎn)評(píng)估以及事件管控與應(yīng)急處置等一系列功能。道路設(shè)施、運(yùn)行與安全大數(shù)據(jù)平臺(tái)信息界面如圖7 所示。

圖7 道路設(shè)施、運(yùn)行與安全大數(shù)據(jù)平臺(tái)信息界面

5 大數(shù)據(jù)平臺(tái)的作用與前景

建立了貫穿道路設(shè)施與交通運(yùn)行風(fēng)險(xiǎn)防控的大數(shù)據(jù)平臺(tái)，突破了“數(shù)據(jù)孤島”的難題，實(shí)現(xiàn)了交通事故與道路設(shè)施、交通運(yùn)行、交通環(huán)境等不同來(lái)源、不同結(jié)構(gòu)數(shù)據(jù)的融合；還實(shí)現(xiàn)了非結(jié)構(gòu)化的設(shè)計(jì)資料、道路圖片數(shù)據(jù)、交通監(jiān)控視頻數(shù)據(jù)等的集成與融合，發(fā)揮大數(shù)據(jù)優(yōu)勢(shì)，將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行可視化和充分應(yīng)用。 對(duì)于未來(lái)相似領(lǐng)域的交通安全大數(shù)據(jù)的研究與應(yīng)用， 本文的成果具有顯著的引領(lǐng)意義。

道路設(shè)施、 運(yùn)行與安全大數(shù)據(jù)智能分析平臺(tái)的研究成果未來(lái)還可進(jìn)一步拓展到全國(guó)各省公路網(wǎng)， 拓展大數(shù)

5 結(jié)論

(1)對(duì)于本文中按照船員不上岸的待航停泊區(qū)，其功能較為單一，選址時(shí)首先按一般原則選取。

(2)通過(guò)對(duì)沙縣城關(guān)下游待航停泊區(qū)的3 個(gè)方案進(jìn)行比選，分別從安全性、經(jīng)濟(jì)性、船舶調(diào)度難易性和河道美觀性進(jìn)行方案分析比選其優(yōu)缺點(diǎn)，最終推選方案一。針對(duì)經(jīng)濟(jì)性和安全性進(jìn)行比選時(shí)，始終以安全為首。

(3)山區(qū)河流停泊區(qū)一般不宜布置在彎道凹岸段，主要是此處水流流速較大，且為航道轉(zhuǎn)彎處，不利于船舶渟靠。通過(guò)對(duì)官蟹下游待航停泊區(qū)凹岸段流向流速分析，本工程建成后對(duì)流速流向基本無(wú)影響， 且流速滿足船舶安全靠泊要求； 同時(shí)， 為保證船舶上行離岸時(shí)安全過(guò)閘要求，停泊區(qū)前沿線應(yīng)盡量與上游航道中心線平行。