大數據在?；愤\輸監管平臺中的應用

武翠芳

(東營市交通運輸局，山東 東營 257091)

1 引 言

伴隨著化工產業的日益發展，我國?；沸枨笠膊粩嘣鲩L。在各種運輸方式中，傳統的公路運輸方式存在靈活易組織的特點，為實現“精準到戶”的運輸，?；肥褂霉愤\輸方式優勢明顯。據數據統計，公路運輸危化品運輸占運輸總量的80%左右，是危化品運輸的主要選擇方式。由于?；芬兹肌⒁妆?、易腐蝕具有的特點，給運輸過程帶來較大風險。

2 項目目標及意義

本文研究的項目是基于東營市?；愤\輸管理現狀及存在問題而產生的，目的是執行東營市政府加強對?；愤\輸監管的精神，建立起一套對于?；愤\輸全過程監管監測的平臺，提高對于東營市整個?；愤\輸行業的監管水平，同時可以隨時接收車輛上危化品狀態及車輛位置信息，將這些數據實時保存之后，指揮中心用戶可以發送警示及指導指令給行駛中的車輛，提示駕駛員及時更正危險駕駛行為；可在客戶端任意調取任意車輛上運載的危險化學品信息，為可能實施的救援提供技術保障。結合東營市?；愤\輸企業及政府管理部門的需求，本文設計實現了一套基于GPS/GIS架構的?；愤\輸行為智能監管平臺。平臺的數據服務中心(Data server Center)簡稱DSC，是危化品信息管理系統中服務器軟件所有功能單元的核心。車載終端設備與指揮中心服務器端通信，數據服務中心負責與用戶端界面交互管理，同時負責客戶端與云平臺數據庫的交換數據的任務。本文會系統性地分析該數據服務中心的數據實現，以及具體功能實現的問題，例如與用戶客戶端的交互，與云平臺數據庫的交互，與車載終端設備的通信以及數據服務中心內部數據同步管理的問題。

3 東營市危化品車輛管理需求分析

東營市作為全國危險品運輸行業的焦點，有著得天獨厚的運輸優勢，也給政府監管帶來更多挑戰。有的危化品運輸企業重效益輕管理，安全措施不落實；有的?；奋囕v和從業人員資質未經行業管理部門認證，許多車輛也有超載超限、非法改裝、未安裝緊急切斷裝置的現象。有效建立危化品運輸監管體制，是監管部門追求的目標。市面上正在使用的平臺有部門的、企業的，如果沒有良好的政府監管平臺對它們進行監控，這些平臺就會形同虛設。

?；愤\輸企業的管理包括企業級、車輛、人員、油氣儲罐等許多環節，由交通、安監、公安、應急、質監等多部門監管，監管與數據的分隔性，亟待催生一種新的管理模式打破監管壁壘，優化監管環節，成為監管本地?；愤\輸行業向好發展的手段。

本文依據東營市?；愤\輸行業現狀及需求，設計實現了一個政府監管平臺，該平臺是基于JT/T809協議的規范的，即上級監控平臺，對企業端使用的車輛監控平臺(簡稱為下級監控平臺)進行了整合監管。

主要工作包括以下內容。

設計政府監管平臺、下級監控平臺、JT/T809通訊協議網關(簡稱為809通訊平臺)之間的通信方案。該通訊平臺是基于809網關協議的，它是在NIO的Netty框架基礎上進行編寫的，再加上WebSocket技術及RabbitMQ服務為政府監管平臺前后端與下級監控平臺前后端之間相互通信提供技術支持，完成了通信模塊開發。

(2)設計政府監管平臺的數據庫方案設計。本系統中數據類型種類較多，需要根據不同數據的特點采用不同的數據庫進行存儲，數據庫存儲總體方案為MongoDB+Redis緩存+Mysql。

(3)設計和實現政府監管平臺。

政府監管平臺后端采用SpringMVC+Hibernate框架、前端采用Vue.js進行設計和實現。系統中相關功能的實現符合模塊化設計原則，包括基本信息管理功能、綜合交通運行監控、電子運單管理功能、車輛預警處置、化工企業過車監控管理、數據統計分析功能六大模塊功能。

4 設計方案及主要技術

4.1 ?；返缆愤\輸過程風險分析

?；愤\輸路徑上出現的安全風險因素，可以理解為在未來某段時間內，在?；愤\輸路徑中可能發生的人身傷亡或財產損失事故，這些事故因為與危化品運輸行為有密切聯系，其危害性經常不可預測。通過查閱交通事故數據，我們發現?；愤\輸路徑交通事故的誘因，通常是駕駛人的危險駕駛行為、運輸車輛的非法改裝和沒有按時檢修、運輸貨物的不合規儲存、道路與交通路況及交通規則不合理、交通管控策略不適應實際運輸要求等五個方面。

東營市交通部門從技術上已經實施了一些監管措施，如配載車輛IC信息卡、安裝4G視頻監控設備，實現了車輛危險駕駛行為“六預防”；增加了接打電話、吸煙、打瞌睡等危險駕駛行為提醒功能，構建起了一套安全運行預警系統和車輛緊急避險提醒監管系統。

4.2 大數據與?；奋囕v動態監管平臺的融合

對“大數據”的定義有多種，最為流行的定義被稱為“3V”數據，即Volume、Velocity和Variety。從容量、速度、多樣性層面對數據進行了定義。傳統的關系數據庫無法處理大量的數據存儲信息，現在亟待一種新的數據處理技術，可以幫助人們以極快速度分析處理使用大數據的技術。

隨著各種傳感器技術的成熟應用，?；愤\輸載體每天回傳大量的信息數據，如智能卡數據、?；奋囕vGPS軌跡以及承運危化品信息等，這些數據記錄了危化品車輛的運行情況和進出貨信息。從前的存儲方式，使得回傳數據數據存在運輸軌跡缺失、時空信息混亂等問題。車輛動態監管平臺存在數據孤島，各監管部門之間系統互相獨立，技術標準不一致。要實現更全面的監管職能，就需要整合多源數據，結合大數據技術深入分析挖掘，才能為?；菲髽I營運車輛監管平臺提供可靠的數據來源。

Apache開發了一種新的分布式系統框架即Hadoop技術，它為最底層的分布式文件系統提供了一種使用性能，可以較高容錯、快速處理數據文件；MapReduce作為一種編程模型，它提供了一種并行化編程框架，用戶不需要清楚系統內分布式和并行化的編程細節，只需要通過實現一個簡單的Map函數，指定并發的歸約函數，對這兩個類進行編寫就可以實現分布式系統架構的實現。本系統平臺的實現是指定了一個映射函數，用來把之前的鍵值對與新的鍵值對形成映射關系，從而可以保證每個鍵值對共享相同的鍵組。Hadoop技術具有最簡單的并行計算平臺，還有可以存儲大量數據的數據存儲平臺，這樣為傳統的數據算法提供了新的技術基礎。該系統將數據挖掘算法和Hadoop平臺細節進行封裝，對外提供Rest接口，用戶通過Rest接口調用并行化的數據挖掘算法進行數據分析，無需了解底層的具體實現。

5 系統實施

5.1 開發實施步驟

實施步驟主要包括準備階段、用戶需求調研分析、產品分析設計、系統頂層設計、服務端架構搭建與測試環境準備、設計庫表結構、微服務模塊設計開發、前后端接口標準設計開發、程序代碼編程開發與系統集成與測試等。

5.2 系統總體架構設計

本平臺總體上基于云計算、云服務、大數據開發技術，采用分層、SOA的架構模式，各功能盡量采用SOA模式，各模塊對外提供完整的接口(API等)，服務模塊的粒度基于角色、二級功能模塊。

總體架構為分層和SOA服務模式相結合，縱向分層，橫向按業務切分SOA服務模塊，業務服務模塊貫穿各層，各組件之間通過消息中間件、Restful API、Web service、Socket等網絡調用方式進行交互。所有服務功能模塊都必須通過服務接口公開數據和功能；服務模塊之間須通過這些接口來進行溝通，不能有其他形式的進程間通信，沒有直接連接。大服務模塊之間不允許直接讀取數據存儲，不使用共享內存模型，沒有任何形式的后門，唯一允許的方式是通過網絡調用服務接口，所有服務接口必需從底層設計上支持外部變化，各模塊設計必須在外界的接口上規劃和設計該模塊的內容。各服務支持桌面Web、移動APP、智能移動終端、C/S客戶端各終端模式接入。

層次大致分為物聯網/自動化控制層、基礎支撐層、大數據層、服務層、用戶訪問層。

(1)物聯網及自動化控制層：包括物聯網設備接入、網絡通信及自動化控制處理。物聯網設備接入：包括各機械、車輛等傳感器設備數據采集、控制、通信、數據接入匯集、設備遠程監控管理服務。自動化控制：主要是對設備進行遠程自動化控制，包括：PLC、DCS、控制網絡、控制指令管理等，與管理對接。本層接入的數據自動給大數據層進行統一管理。

(2)基礎支撐層：對上層各類軟件服務的基礎支持環境，軟硬件環境、操作系統、數據庫、運行環境、中間件、基礎平臺等。包括：云計算和大數據環境；數據庫；Java Web應用服務；數據實時發布服務；消息中間件、業務規則引擎、設備狀態監控Web組態件、Web圖形化交互編輯、企業消息總線、地理信息系統、物聯網接入；移動應用環境支持移動設備接入；內存數據管理；高性能網絡應用框架；操作系統等。

(3)大數據層：對平臺各類數據進行統一管理。此層次對多類型、多數據源、高速數據進行統一管理，支持對大數據分析展示。對于業務管理類數據，比如申請、審批、電子運單等固定數據的業務，采用傳統記錄型關系數據庫。對于電子運單、視頻圖像、圖片、網頁內容、客戶交互數據等散數據，不適合用關系型數據庫，需要采用大數據模式的NoSQL等方式處理或單獨處理。對于來自物聯網的實時性的設備狀態數據、車輛動態數據、實時作業數據等需要高速緩存，實時處理方式。對于設備狀態、車輛等動態目標，業務辦理數據等需要實時的，采用分布式緩存技術，達到高并發讀寫。

(4)服務層：基于SOA模式和SaaS平臺方式，針對各功能和角色，包括各類終端服務、地理信息服務、大數據服務、設備管理、視頻服務、物聯網設備云服務等。支持各類服務模式的接入，包括桌面、移動終端等設備，服務調用Restful API等。現有系統集成服務，通過各類接口和ESB進行集成。

(5)用戶訪問層：各類訪問模式和終端，包括來自企業操作人員、政府監管等用戶，訪問渠道包括瀏覽器、移動終端、控制中心、移動APP等。

SOA服務模塊按業務進行劃分，基于上述分層，按角色、業務功能分塊，形成各功能獨立的服務模塊，每個SOA模塊都提供服務接口，各SOA模塊之間通過網絡互相調用服務接口。服務各模塊通過網絡調用進行交互。各服務之間可自由組合，定制不同的產品。平臺各部分之間相對獨立，有相互交互，每個部分都可以獨立運行，自由組合配置。

6 結 語

大數據在?；沸袠I管理平臺中的應用，連通了各監管部門及運輸企業之間的數據孤島，提高了?；奋囕v道路事故救援的及時有效性，交通運輸管理部門可以制定更加詳盡的管理方案及應急事件預警方案，降低重大?；愤\輸事故發生率，推動行業良性發展。