基于大數據技術的IT運維數據管理系統構建方法

張雪堅，張　榆，釧　濤，呂　垚，向華偉

(云南電網有限責任公司 信息中心，云南 昆明 650217)

經過多年的信息化建設，云南電網信息中心已建成并運行著上百個信息系統。其中，ITSM、IT集中運行監控、ZABBIX等系統負責各類信息系統穩定運行所依賴的硬件環境進行監控[1]。然而，目前各監控系統所產生的海量監控數據分別存儲在各自的專有數據庫中，數據共享難度大。無法對海量數據進行有效存儲、處理及分析；無法提供大數據環境下全方位、全類型的數據存儲及處理服務。無法為數據資產深度分析挖掘提供有效的數據支撐[2]。為解決以上問題，本文討論了基于大數據技術的運維數據管理系統的建設方法，以充分發揮大數據技術在數據存儲、并行計算、大規模數據分析挖掘等方面的優勢。

1　IT運維數據管理系統模型

1.1　數據現狀

IT運維數據分散在IT運維管控平臺、IT集中運行監控系統、ZABBIX系統中，如表1所示。

表1　數據現狀

1.2　總體架構

根據對云南電網信息中心各類監控系統及監控數據的調研分析，設計了基于大數據技術的IT運維數據管理系統總體架構，包括數據集成、數據存儲、數據計算、數據訪問4個層次。IT運維數據管理系統總體架構，如圖1所示。

圖1　IT運維數據管理系統邏輯架構

(1)數據集成層。該層主要實現了從IT運維管控平臺、IT集中運行監控系統、ZABBIX系統中抽取結構化非實時數據、結構化實時數據、非結構化數據，并完成數據清洗、校驗和處理功能[3]；

(2)數據存儲層。該層采用了分布式文件系統、列式數據庫、分布式關系數據庫等多種數據庫?！?br>