淺談交通管理大數據分布式管理應用平臺的架構設計方案

王艷

（無錫商業職業技術學院，江蘇 無錫 214000）

淺談交通管理大數據分布式管理應用平臺的架構設計方案

王艷

（無錫商業職業技術學院，江蘇 無錫 214000）

基于當前公安交通管理綜合應用平臺的主要特征，迫切需要建立一個具有較強的管理能力、具備先進技術，能夠高效快速實現的綜合應用平臺分布式數據庫。主要談論了該分布式管理應用平臺的架構設計方案，并概括了該平臺的主要特點。

分布式數據庫；統一監控；駕駛人管理；科技信息化

1 項目背景

近年來，隨著公安交通管理科技信息化水平的逐步提升，依托于公安主干網，已經全面建成了覆蓋部、省、市三級的公安交通管理綜合應用平臺，建設了包括機動車管理、駕駛人管理、交通事故處理、交通證據處理等業務功能，并實現了對交通攝像頭數據的采集和初步處理，形成了較為完整的交通管理數據鏈條。當前，隨著交通的快速發展，交通管理單位的數據管理工作主要呈現以下特征。

1.1 積累了大量數據資源

一個省的交通管理綜合應用平臺數據量已到達近幾十億條，非結構化數據（證據圖片等）約為60 TB，交通管理數據體量較大，且從數據類型來看，大量的非結構化數據存儲在數據庫中，占據了存儲容量的90%以上。

1.2 數據管理和服務面臨著巨大挑戰

隨著道路交通業務的不斷深化，交通數據內容龐雜、存儲分散、訪問困難、結構不統一、編碼不一致等問題，限制了科技管理部門對交通管理數據的管理和維護，海量數據的存儲、備份、擴容和日志信息的管理都成為目前較為嚴峻和亟待解決的問題。

1.3 對數據的科學利用提出了更高的要求

隨著城鎮化的發展，交通管理基礎設施（設備）已進入了大規模建設的時期。同時，社會轉型的壓力迫使交通管理部門需要在交管工作機制、交通管理方式、服務群眾思路等方面進行創新和改革。如何通過數據資源使用進一步提升道路交通管理水平，成為了交通管理部門迫切需要面對的問題之一。基于以上背景，迫切需要建立一個具有較強的管理能力、具備先進技術、能夠快速實現的綜合應用平臺分布式數據庫，通過綜合應用平臺分布式數據庫，全面實現各業務與管理數據的整合，解決交通管理行業科技管理問題，達到建以致用、深化科技強警的戰略目標。

2 項目需求

搭建大數據基礎平臺及部署分布式數據庫，技術要點為：①海量非結構化數據存儲，比如證據圖片、日志數據；②批量歷史數據遷移和現有數據實時同步復制，比如熱點業務數據；③實時數據檢索及統計分析；④在元數據管理中對圖片數據、日志數據定義屬性，添加索引；⑤在元數據管理中管理業務關系數據和文檔數據；⑥對外部應用程序提供檢索應用接口，提供資產目錄和手冊；⑦云搜索、業務數據的報表統計和分析；⑧對平臺系統運行環境和使用維護情況的監控，同時，大數據基礎平臺還應該具備集監控、管理和典型故障處理于一身的統一監控運維管理平臺，以及具備數據存儲安全、訪問安全、網絡安全等的安全管理系統。

3 架構設計方案

系統采用3層架構：底層是大數據操作系統（BD-OS），中間層是數據服務層，頂層是系統應用層。底層BD-OS（大數據操作系統）主要包括大數據技術平臺和服務支撐技術兩方面。大數據技術平臺的主要技術有：①大數據存儲HDFS。整個分布式大數據的存儲基礎。②數據倉庫HBase。保存業務數據、圖片數據和日志數據。③編程模型MapReduce。面向大規模數據處理的并行計算模型和方法。④分布式協作服務ZooKeeper。數據管理服務，如統一命名服務、狀態同步服務、集群管理、分布式應用配置項的管理等。⑤數據倉庫工具Hive。將結構化的數據文件映射為一張數據庫表，并提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。⑥全文檢索引擎ElasticSearch。可擴展的開源全文搜索和分析引擎。⑦NoSQL數據庫MongoDB、關系型數據庫MySQL。⑧獨有的分布式數據倉庫CsiDRD技術。服務支撐是為中間數據服務層提供支撐的，更偏重于技術方案，主要包括以下幾個方面：①數據采集ETL。從Oracle數據庫中獲取圖片、日志和業務數據，并導入到分布式數據庫中。②PL/SQL支持。支持Oracle數據庫中PL/SQL語言，從而可以將原有的Oracle綜合平臺復雜的數據倉庫類分析，基本不用修改或者做少量修改之后就可以移植到綜合平臺分布式數據庫中。③全文檢索。開源的全文檢索引擎ES，提供對業務和圖片數據的檢索服務。④安全管理。提供對于Hadoop大數據庫的安全管理服務。⑤運維管理。實時監控Hadoop大數據庫的運行情況，用圖表等直觀的方式，方便監控和維護管理。中間數據服務層更多的是面向系統應用的，主要包括對訪問大數據庫用戶提供授權、認證、審計和監控；通過技術手段對大數據平臺的運行狀況進行記錄；提供Oracle和Hadoop大數據庫雙向間的數據接口，方便數據的采集、匯集、分發和同步等。頂層是系統應用層，運行各種需要從分布式大數據系統進行數據交互的應用系統，比如公安交管綜合平臺（六合一平臺）等。

4 平臺特點

平臺特點有：①數據處理能力。具體具有平臺運維監控能力、平臺安全處理能力、多源異構的數據接入整合能力、一站式數據處理能力、豐富的底層技術組件支持。②高可用性和可靠性。③可擴展性。包括組件可擴展、容量可擴展、數據接口可擴展、應用可擴展、數據庫可擴展。④開放性。⑤安全性。包括訪問安全、環境安全、數據安全。

5 未來展望

應根據不同的數據內容和特點分門別類存儲結構化數據和交通管理圖片等非結構化數據、日志數據，全面整合各業務與管理數據，檢索機動車、駕駛人、證據、業務日志等實時數據并進行統計分析，提高交通事故處理、交通證據處理的效率和精準性，優化道路交通管理水平；同時，保證數據的安全性，系統的穩定性和高可用性；協助交通管理部門解決交通管理行業科技管理難題，達到建以致用、深化科技強警的戰略目標。

〔編輯：張思楠〕

TP311.13

A

10.15913/j.cnki.kjycx.2017.23.076

2095－6835（2017）23－0076－02