大數據在金融數據中心IT運維中的應用研究

摘 要：論文主要探索大數據技術在金融行業數據中心IT運維中的應用。通過有效地挖掘運維數據中存在的規律和模型，預測和預防未來運行中斷、性能差等問題，并對未來資源容量、使用情況進行預測及合理規劃，提高故障發生后的快速響應能力，加強科技風險的主動預知能力，從而提升整體科技運維服務水平。

關鍵詞：大數據；數據挖掘；IT運維；金融數據中心

中圖分類號：TP311.13 文獻標識碼：A 文章編號：2096-4706（2018）07-0099-03

Abstract：This paper mainly explores the application of big data technology in the IT operation and maintenance of the data center of the financial industry.By effectively mining the rules and models existing in the operation and maintenance data，it helps to predict and prevent future operation interruption and performance problems. And the ability of quick response after obstacles can enhance the initiative prediction ability of scientific and technological risks，so as to enhance the overall level of science and technology operation and maintenance service.

Keywords：big data；data mining；IT operation and maintenance；financial data center

0 引 言

近年來，大數據浪潮席卷全球，世界著名的IT企業都在積極推動大數據技術的研發與應用工作。隨著經濟轉型的升級、利率市場化節奏的加快以及互聯網金融的迅速崛起，金融行業面臨著巨大的沖擊。為了應對日趨激烈的市場競爭，金融行業IT運維引入了大數據的概念，將實時數據分析和歷史數據關聯分析相結合，挖掘它們內在的規律和模型，以幫助預測和預防未來運行中斷和性能差等問題，同時可以對未來資源容量、使用情況進行預測，合理規劃設備，避免不合理的采購和資源的浪費。

1 金融行業運維體系的現狀

銀行業信息化建設經過多年的探索實踐，已經形成了數據大集中的系統架構，同時形成了以數據中心為核心，以IT運維服務管理為基礎的運維體系。盡管多家銀行制定了基礎架構及服務管理體系，以從制度和管理上為其業務運作提供更好的支持，但是在新形勢下隨著金融業務的迅速發展和規模的急劇擴大，系統數量和規模越來越多，導致IT運維人員不斷陷入到建設基礎設施、處理系統故障、頻繁變更上線等工作的循環中，并且花費大部分時間和精力處理一些簡單的問題，不能及時處理故障。

此外，IT系統和基礎設施的應用無時無刻不在產生數據，這些數據代表了所有系統的性能、容量、安全、壓力、穩定等因素的運行狀態，但是這些海量的數據信息堆積在一起無法判斷問題的實際根源在哪里，IT運維人員甚至可能不知道如此龐大的數據有何業務含義，更不知道這些數據該如何使用。

2 運維大數據在金融數據中心解決方案

為了應對上述IT運維中存在的諸多問題，本文在IT運維上引用了大數據技術，建設大數據平臺，實現機房環境、網絡設備、服務器、安全設備、操作系統、數據庫、應用系統等方面的日志和服務器間的通訊報文的收集與解析；搭建幾個亟待解決的數據挖掘場景，從根本上解決了生產運維中遇到的困難；同時依托運維大數據平臺，整合運維所有可以挖掘的數據和日志，逐步完善智能化分析的預測場景，讓運維團隊從過去的事中與事后管理，邁入事前管理的時代，從而更加積極主動的保護銀行各網點的業務生命線。

2.1 整體技術解決方案

運維大數據平臺作為運維架構的重要組件，平臺的建設需要充分考慮與其他運維組件的關系。本文主要考慮平臺與現有或者待建系統的接口設計和交互內容，做如下設計：

（1）采集IT服務管理組件里的流程信息、資產數據和配置數據；

（2）采集監控事件數據，同時為監控提供歷史基線數據；

（3）采集組件里的作業調度信息以及依賴關系，為平臺提供歷史基線數據；

（4）采集配置管理組件的配置數據和業務關聯模型數據；

（5）采集安全管理組件里的安全日志和安全事件，為安全管理組件提供歷史基線數據；

（6）采集基礎運維組件里的日志數據、網絡數據、資源數據、性能數據、容量數據、應用數據、交易數據等各種日常運維數據，為基礎運維組件提供歷史基線數據；

（7）采集云管平臺的資源信息、計量信息等數據，為云管理平臺提供歷史基線數據；

（8）為可視化決策支持組件提供各種展現數據，以實現主動風險管理，快速問題應對和持續運行優化。

2.2 邏輯架構

邏輯架構采用分層模式，如圖1所示，其中：

（1）數據采集層：數據中心運維過程中產生的所有可收集的數據均為對象數據源，包括但不限于：系統性能數據、流程數據、日志數據、交易數據、資產數據、配置數據、監控數據、告警和事件數據等。

（2）數據緩沖層：作為分布式發布與訂閱系統，數據緩沖層支持數據的一次發布多場景的消費訂閱。基于分布式架構，支持處理結點的橫向擴展，以及高可用；基于數據存放機制，支持數據落盤保存，保證數據在數據緩沖層的零丟失。

（3）數據存儲層：數據存儲是數據保存落地的地方，根據不同的數據類型及不同數據類型的使用場景，選擇不同的數據存儲方式。針對一些需要全文檢索、分詞搜索的數據選擇作為熱數據保存以提高檢索效率；針對一些歷史的分析數據和批量計算的數據選擇作為冷數據保存以提高計算效率。

（4）數據處理層：包含流處理模塊、批量處理模塊和日志檢索模塊這三大部分內容，其中流處理模塊負責采集數據與實時處理；批量處理模塊負責歷史數據分析和批量計算；日志檢索模塊負責在線和歷史日志的合并與查詢。每個處理模塊根據場景需要從數據庫或者消息緩存隊列中獲取數據，并將處理結果保存到相應數據庫中。

（5）應用場景層：從主動避免故障，快速解決問題，運行優化這三個方面提供運維管理工具，提升運維管理服務水平。

2.3 物理架構

歷史數據離線批量分析和實時在線查詢分析采用集群部署，數據可配置多個副本，以保證計算和數據的高可用；WEB服務器、數據緩存服務器、ZOOKEEPER同樣采用集群部署，而HADOOP NAMENODE和YARN采用主備模式部署，結構滿足可擴展原則，即集群模式均支持在線動態擴展；架構符合網絡隔離原則，需要申請開設大數據專用網段，避免和其他網段的業務流量沖突，同時滿足了部分服務器訪問外部網絡的需求。

3 大數據在運維中的應用

本文設計的大數據IT運維平臺已經實現應用系統AFA、網絡和系統等日志采集功能。借助該平臺，可以通過輸入關鍵字快速查詢出給定時間段內以event為單位的日志信息，能夠實現某個選定的關鍵字段值具體占比情況，以及通過圖表等形式展現一段時間內資源的使用情況等。

3.1 充分發揮運維數據的潛在價值

目前平臺每天生產數以T級的日志數據，大部分數據都會丟失或者在幾天內備份到帶庫中，無法分析。運維大數據平臺的橫向擴展能力支持海量數據的統一存放，生產的所有數據都可以采集并保存在該平臺中，既解決了跨系統日志統一查看的問題，也解決了長期歷史數據樣本關聯挖掘的問題。

3.2 提前預警，主動運維

當大數據平臺發現正在運行的某系統相關KPI指標違背了歷史基線數據，即出現異常波動時，平臺會提前預警，保證運維團隊在業務受影響前修復問題，實現了主動發現問題、解決問題，真正從被動運維轉變成主動運維。

3.3 容量預測，合理使用資源

隨著業務量、服務器資源、性能等歷史樣本數據的不斷采集和積累，很多數據之間的內在規律與聯系需要我們去挖掘。依據大數據平臺，能夠有效預測出業務系統業務量的變化規律，同時結合云管理技術，實現硬件資源的動態調整，以保證資源的合理使用，為未來硬件采購決策提供依據。

3.4 后臺持續的機器學習和模型優化

通過統計學方法建立數學模型，分析采集的歷史數據樣本，不斷提高數學模型的預測分析能力，優化預測誤差，保證預測的結果隨著時間的推移會更加接近現實。

4 結 論

本文從發揮運維數據潛在價值，提升運行維護服務水平，提高發生故障后的快速響應能力，加強發生科技風險的主動預知能力等方面的目的出發，開展運維大數據平臺的建設工作。平臺實現了機房環境、網絡設備、服務器、安全設備、操作系統、數據庫、應用系統7類數據的抽取解析與匯總整合功能，并通過大數據技術手段實現了系統、網絡、AFA應用這3個場景的生產部署，提升了數據中心的運維管理水平。

參考文獻：

[1] 黃宜華.深入理解大數據：大數據處理與編程實踐 [M].北京：機械工業出版社，2014.

[2] 楊靈運，鄧生雄，嚴蕓.基于MapReduce的供應鏈大數據金融信用評估模型 [J].現代工業經濟和信息化，2017，7（17）：50-53.

[3] 林巍，王祥兵.大數據金融商業模式的構成要素與創新趨勢 [J].經營與管理，2016（4）：24-26.

[4] 蘇汝劼，張寰宇.利用互聯網金融發展中國健康產業的模式和途徑分析 [J].宏觀經濟研究，2018（3）：118-124+147.

[5] 吳咚格.大數據背景下金融產業創新之路 [J].現代經濟信息，2017（3）：271.

作者簡介：楊松（1981-），女，江蘇徐州人，信息科技部技術管理團隊高級主管，碩士；張毅（1982-），男，江蘇淮安人，信息科技部運行管理團隊副經理，本科；薛寶明（1979-），男，江蘇泰州人，本科，信息科技部系統管理團隊經理。