消防大數據平臺架構設計及部署

文/趙文兵

1 引言

隨著互聯網時代的到來，大數據已經成為當今時代的特征，在大數據的社會經濟時代中，城市的建設、發展以及安全維護等都要求更高，伴隨城市的發展和擴張，火災防控任務十分繁重，專業消防監管力量嚴重不足，傳統消防工作模式越來越難以適應新的形勢和任務的需要。

根據消防局《消防信息化“十三五”總體規劃》要求，各地市消防部門逐漸啟動了基于消防安全監控管理和滅火救援輔助決策的大數據平臺建設，利用大數據技術，在市級消防信息化“一體化”建設的框架內，基于各消防業務領域信息化應用形成的海量數據，整體架構設計大數據平臺，采用大數據分析的工具與方法，對消防部門的業務數據進行分析、挖掘、研判，將具有高價值、高效能、高處理性的“大數據”決策模式融入到消防工作和部門建設中，實現跨區域、跨部門的信息共享、協作應用服務，促進消防執法工作能力和科學化管理水平的提升。

2 平臺總體架構設計

消防大數據平臺采用大數據、分布式等先進的架構和技術，構建“四橫一縱”的架構體系，搭建全市消防部門統一的“消防數據資源中心”，逐步采集匯聚市級各地區、各行業消防數據資源，提供部門內、外資源共享，為消防部門提供安全監控管理和滅火救援輔助決策，同時服務于社會大眾。整個平臺系統總體架構如圖1所示。

圖1：市級消防大數據平臺總體架構

總體架構中的“四橫”即基礎設施層、大數據支撐環境層、大數據服務層、大數據應用層；“一縱”即大數據安全、標準、運維體系為整個平臺規范化建設和安全性運行提供支撐。

基礎設施層：基礎設施包含消防云計算平臺和物理服務器集群。消防云計算平臺為消防大數據應用、數據服務工具、數據挖掘工具提供基礎設施服務資源，通過消防云虛擬化管理平臺，實現基礎設施的分配、快速交付和線性擴充，解決目前各類應用系統自行建設基礎設施導致的管理復雜、資源利用率、擴容困難、可靠性不高等問題；物理服務器集群由X86服務器組成，是整個市級消防大數據平臺的存儲核心和計算核心，基于分布式架構設計，為Hadoop、MPP以及傳統關系型數據庫提供基礎設施服務資源。

大數據支撐環境層：統一為各類應用系統提供大數據存儲和計算能力支撐，并通過資源服務總線實現大數據平臺自身以及對外的服務管理，解決目前面臨的海量的結構化、半結構化和非結構化數據的存儲和處理難題，以及各類應用系統技術架構不一致導致的應用系統之間難以協同和共享的問題。主要包含數據采集平臺、分布式存儲系統、大數據計算引擎（離線計算、流式計算等）。數據采集平臺主要通過數據采集工具，實現將不同數據源的數據進行抽取、清洗、轉化后加載到消防大數據平臺存儲中。

大數據服務層：通過大數據服務建設，將形成全面、準確、一致的數據資源池，統一為各類應用系統提供數據共享和服務，利用分布式服務請求技術，解決目前面臨的海量的結構化、半結構化和非結構化數據的采集、整合、存儲和應用的問題，以及應用系統間信息難以共享的難題。主要包含數據資源、數據管理、數據服務。

大數據應用層：主要包含物聯網監測系統、信息發布系統、人員定位系統、三維模擬演練系統、智能分析系統、情報支撐系統、作戰協調系統、戰評輔助系統。

表1：市級消防大數據平臺數據存儲分類

大數據安全：包括網絡安全、系統安全、訪問控制、數據安全、用戶認證等，全面保障消防大數據平臺穩定性、可靠性。

大數據運維：包括安裝部署、服務配置、主機管理、監控告警、租戶管理等，提供一體化運維管理服務。

大數據標準：包括建設管理類、信息安全類、專項標準類、數據資源類、應用開發類、基礎設施類等相關標準規范。

3 部署方式

市級消防大數據平臺主體部署的硬件承載平臺優先以利舊已有消防云計算平臺（若資源不足則考慮擴容），同時新增部分物理服務器的方式為主，其中平臺的應用部署在已有消防云計算平臺上，數據庫部分部署在擴容新增物理服務器上。平臺部署示意圖如圖2所示。消防云計算平臺設備為消防大數據應用提供存儲計算資源，新增物理服務器集群為大數據服務、大數據支撐環境建設，結構化、非結構化數據提供存儲計算資源。

平臺數據采集方式：內部數據主要通過指揮調度網采集，公安數據主要通過公安網采集，政府部門數據主要通過電子政務外網采集，社會單位數據主要通過互聯網采集。

4 基礎設施層建設

基礎設施層建設由消防云平臺擴容和物理服務器集群新建兩部分構成。一般市級消防云平臺大致建設規模需求為4臺高性能服務器（DMZ區新增2臺采集服務器、云計算平臺核心服務區新增2臺應用服務器）和大約10TB存儲資源，為消防大數據應用及數據采集平臺提供存儲計算資源；物理服務器集群建設規模需求大約為4個Hadoop節點、1臺關系型數據庫節點，1個MPP數據庫節點為結構化、非結構化數據的計算和存儲提供資源。節點設備均采用X86服務器。

5 大數據支撐環境層建設

5.1 數據存儲計算

市級消防大數據平臺數據來源按照內部數據和外部數據兩種方式分類進行采集，并將采集的數據存儲到 Hadoop、MPP 數據庫和Oracle 等數據庫中。其中內部數據包括消防人員基礎信息、消防裝備基礎信息、警情信息、專家信息、消防重點單位信息，外部數據包括市水務局、市住建局、市交通局、市公安局等相關數據，如表1所示。

本部署方案采用基于Hadoop的大數據存儲技術，相比開源Hadoop，建議采用企業化Hadoop用于存儲半結構化、非結構化的海量數據，其主要包括分布式文件系統 HDFS、分布式計算框架 MapReduce、Spark等常用組件。Hadoop 分布式文件系統具備高容錯、高吞吐特點，Hadoop分布式計算框架支持高性能離線計算和流式計算，參照部署經驗，一般市級消防大數據平臺需要配置大約4個Hadoop節點，Hadoop集群部署在基礎設施服務層的物理服務器集群中，服務器均為普通 X86服務器，Hadoop集群節點間采用萬兆光纖連接。MPP主要用于存儲高價值聚合分析數據，MPP數據庫是一個大規模并行處理系統，系統由許多松耦合處理單元組成的，按部署經驗，市級消防大數據平臺一般配置 1個MPP節點，MPP集群部署在基礎設施服務層的物理服務器集群中，服務器為普通 X86 服務器。傳統關系型數據庫Oracle 作為存儲計算資源的補充用于存放應用框架信息等數據，按部署經驗，市級消防部門大數據平臺一般配置 1個傳統關系型數據庫物理服務器節點，服務器為普通 X86服務器。

5.2 數據采集

平臺利用Sqoop和HBase實現對現有業務數據庫中多樣數據到列式數據庫的無縫轉換。對于歷史數據，數據源來自關系型數據庫，如Oracle數據庫等，有來自FTP(文件傳輸協議)服務器的半結構化數據、非結構化數據等。其中歷史數據中的結構化數據通過ETL處理，利用Sqoop組件實現從現有業務數據庫到列式數據庫的轉換，再將這些數據儲存在大數據存儲平臺中的HBase非關系型數據庫中，存儲于HBase組件中的數據實現了所有關系型數據的融合，為統汁分析提供了數據來源。對于歷史數據中的半結構化數據以及非結構化數據，使用HDFS-over-FTP組件，將數據儲存于大數據存儲平臺的HDFS組件中，處于HDFS組件中的非結構化數據與半結構化數據，用于輔助分析服務、碰撞比對分析、檢索服務等。對于實時數據數據源來自GPS數據庫等，這些數據基本上以結構化的數據形式存，采用Kafka作為消息中間件為接入實時數據并提供后續的SparkStreaming來做進一步處理。

6 大數據服務層建設

6.1 數據資源子層

數據資源子層實現市級消防大數據的歸集整合，包括消防隱患庫、單位信息庫、建筑信息庫、消防裝備庫、消防責任人員庫等基礎數據資源庫和輔助決策庫、指揮調度庫、火災警情庫等業務數據庫。

基礎數據資源庫主要通過抽取整合市級消防部門內部“一體化”消防業務信息系統已有數據，對接公安數據平臺獲取與消防工作有關的數據，匯聚采集城市物聯網消防監控數據，對接采集相關行業部門數據，采集互聯網數據等實體數據形成。其中，消防內部數據通過抽取條線業務系統的數據形成；公安、政府部門數據、物聯網數據通過部門間共享服務平臺獲取，互聯網數據通過網頁爬蟲方式獲取，以上所采集數據須經過規范化清洗、轉換后才能形成入庫數據。

輔助決策庫、指揮調度庫、火災警情庫等業務數據庫由情報支撐、作戰協同、戰評輔助等大數據應用系統生成。

6.2 數據服務子層

提供包括檢索服務、數據比對服務、分類統計、共享服務等常用功能以及趨勢分析、異常分析、相關性分析等挖掘功能的應用服務。其中數據共享服務通過 Web Service 方式實現數據的共享，實現數據在不同部門的業務系統里流轉，從而達到業務協同；提供數據安全傳輸機制；提供監測平臺，對信息提供者、管理者和使用者進行監督、糾錯處理和綜合評估等；提供平臺共享監督功能包括信息正確性監督、信息使用合理監督、信息發布及時監督。

6.3 數據管理子層

為市級消防部門提供信息共享查詢和資源定位授權等服務，包括目錄管理、目錄服務、元數據管理、標準管理、質量管理等。其中主要功能建設內容如下：

6.3.1 目錄管理

主要用于管理信息資源目錄，信息資源目錄對信息資源進行編目形成核心元數據，注冊到整合資源數據庫中，生成數據資源目錄；

6.3.2 目錄服務

為經過授權的使用者提供數據信息資源的目錄查詢。

6.3.3 元數據管理

主要實現對市級消防部門各類數據的元數據的管理、支持元數據入庫、能夠對元數據進行瀏覽、可對元數據進行查詢和統計匯總，在數據發生變化時能夠完成元數據的更新，且能夠實現元數據的打印輸出，以及數據標準的管理。元數據管理主要包括元數據建模、元數據模型管理、元數據入庫注冊、元數據查詢瀏覽、元數據維護更新。

6.3.4 標準管理

提供數據標準定義、數據標準實施、數據標準維護的全流程管理，功能包括標準制定管理、標準執行管理、標準維護管理、標準規則管理、標準審計管理。

6.3.5 質量管理

對數據從創建、存儲、使用、共享、歸檔、銷毀等生命周期的每個階段里可能引發的各類數據質量問題，進行識別、度量、監控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。功能包括質量監控管理、質量糾錯管理、質量規則管理、質量評估管理。

7 大數據應用層建設

面向消防滅火、防火部門領導，直接使用者包括指揮中心、研判中心的領導、工作人員以及消防員。用于日常分析研判及戰時決策指揮、戰評。系統主要包含物聯網監測系統、信息發布系統、人員定位系統、三維模擬演練系統、智能分析系統、情報支撐系統、作戰協調系統、戰評輔助系統。

8 大數據安全、標準、運維管理

大數據安全管理：主要包括網絡安全、系統安全、訪問控制、數據安全、用戶認證等管理，全面保障消防大數據平臺穩定性、可靠性。

大數據標準管理：主要包括建設管理類、信息安全類、專項標準類、數據資源類、應用開發類、基礎設施類等相關標準規范。

大數據運維管理：主要包括安裝部署、服務配置、主機管理、監控告警、租戶管理等，提供一體化運維管理服務。

9 結論

本文結合消防部門一體化系統的建設過程中存在的傳統數據庫及數據倉庫技術無法滿足海量數據處理的問題，提出一種市級消防大數據平臺架構設計及部署方案，該方案綜合使用了虛擬化、大數據等技術構建了市級消防海量數據計算與存儲的基礎框架，涵蓋大數據分析服務以及大數據應用的平臺。本文的研究將為市級消防部門大數據平臺的規劃與部署建設提供借鑒。