山西省農村信用社聯合社業務運維指標可視化建設項目

山西省農村信用社聯合社（以下簡稱省聯社）是由省委、省政府直接領導和管理的地方性金融機構，于2005年8 月正式掛牌成立。

服務覆蓋面最全。目前，共有省、市、縣、鄉四級機構3182 個，是全省唯一一家服務范圍覆蓋到各縣（市、區）、鄉（鎮）、村的金融機構。

業務規模最大。截至2018 年末，全省農村信用社資產總額達到11427 億元。資產總額、存貸款余額均居全省金融機構之首。

支農支小力度最強。截至2018 年末，涉農貸款余額達3944 億元，占全省銀行業金融機構的40%左右。連續多年實現了“三個不低于”目標和監管要求。

面臨的運維挑戰

隨著省聯社業務的不斷發展，信息系統的持續建設以及不斷完善，信息系統變得越來越龐大、復雜，業務對于信息系統的依賴越來越高，信息系統的安全運轉已經成為保證省聯社業務有效性與連貫性的關鍵。

當前運維主要面臨三大挑戰：

1.被動告知故障，傳統方式排障困難繁瑣。

查日志，時間較長；經驗判斷，難度較高且依賴專家；開發專用監控工具，周期長，每次也只能針對一套系統。

2.領導急需一份某某數據報告，缺少實時業務數據，報告只能做到“T+1”。

3.監控大屏不夠靈活，無法滿足各種場景(雙11、重保)來快速調整。

所以，建設完善的可視化監控系統、建立生產系統的故障發現與IT 運維預警機制、提高對生產系統故障的及時發現以及快速排障能力，對保證省聯社信息系統穩定運行和業務持續發展具有重大意義。

項目方案建設

1.建設目標

通過建設業務運維指標可視化項目，實現以下（不限于以下）目標：

（1）對省聯社關鍵系統的業務邏輯梳理，提升應用運維水平；

（2）實現智能的告警模擬和多維度復合告警能力，全面掌握業務運行狀態；

（3）構建省聯社關鍵業務系統的業務性能監控視圖，直觀地反映面向業務的實時性能管理；

（4）具備或定制開發，能夠符合第三方平臺標準的各類指標推送功能；

（5）可以針對各種場景提供快速展示視圖的定制。

2.技術方案

本解決方案基于先進的協議解碼技術，充分利用可靠的網絡數據資源，幫助省聯社信息科技部門建立業務運維指標可視化系統。以業務服務為中心，圍繞服務路徑圖，提供交易量、成功率、響應時間、響應率、返回碼五大關鍵指標，并區分交易類型（比如轉賬、查詢）、交易渠道（比如柜面、網上銀行）或自定義的統計維度，展現業務服務組件的運行狀態。實現了業務可用性、性能、負載量的全面指標可視化。同時，能直接查詢全量的交易明細報文，實現單筆交易級別的監控與管理。

業務運維指標可視化系統整體架構由數據采集層和數據處理層二個層次構成，其原理是由業務運維指標可視化系統服務器網卡直接抓包，實時輸出數據；解碼引擎對業務數據包進行實時解碼，并且解碼引擎可靈活配置；可以自動發現節點之間的連接關系，為業務路徑配置提供信息；最后，由上層交易監控系統服務和呈現層進行交易性能指標監控、統計輸出、追蹤和告警。其產生有價值的實時業務數據和運維數據均可通過RestfulAPI 與其他系統或平臺進一步對接，直接產生業務和管控效益，如風控、清算大屏、精準營銷等。

3.實施部署

業務運維指標可視化系統的物理架構，采用三層架構設計，支持多個數據中心的分布式部署；底層通過交換機鏡像獲取業務數據包；然后接入中間層的Tap 設備，通過Tap 對流量進行匯聚和過濾，以得到更加精確的業務數據；最終業務數據進入業務運維指標可視化系統進行抓包、解碼和呈現。

省聯社在主數據中心部署了2 臺業務運維指標可視化系統服務器，通過TAP 設備接入外聯區和服務器一區的流量。2 臺系統服務器采用了主從架構，分別進行數據包捕獲、解碼，統一由主系統來進行集中管理和分析呈現。

同時通過使用服務路徑發現模塊進行業務訪問邏輯梳理，接著通過在圖形化界面中用鼠標拖拽方式即可完成服務路徑圖的定義，快速構建從渠道/外聯，經過前置/ESB，到業務應用系統，最后到核心系統/數據庫的整個業務訪問路徑，真正實現了端到端的業務運維指標可視化。

項目總結

1.項目成果

目前，省聯社業務運維指標可視化系統共建設監控了17 套重要業務系統，包括行內最重要的核心業務系統、ESB 系統、農信銀、支付系統等，都在監控界面進行實時監控。

同時，省聯社將系統解析的業務數據通過實時高速的接口輸出給風控系統，匹配風險規則模型，進行資金風險實時分析，判斷交易風險性，同時進行風險性分析、呈現、搜索，為業務部門提供單筆交易的風險可視化；也為后期運維自動化和運維大數據提供底層數據支撐。

通過業務運維指標可視化系統，省聯社達成如下成果：

（1）更清楚的梳理了業務邏輯關系，提升運維排障效率；

（2）復合網絡和業務指標，全面掌握業務系統運行狀態；

（3）業務追溯由T+1 轉為T+0，來服務于人行系統監管數據排查；

（4）對業務周期變化進行預警，更好地分配計算資源；

（5）對業務數據進行旁路輸出，探索由運維向運營轉變，比如風險防控，清算大屏、精準營銷。

點評

業務運維的可視化為金融體系日益復雜龐大的IT 系統信息化管理帶來了便利，山西省農村信用社聯合社業務運維指標可視化建設項目基于先進的協議解碼技術，提高了對生產系統故障的及時發現以及快速排障能力，保證了信息系統的穩定運行和業務的持續發展。