面向敏捷運維的數據中心運維自動化系統建設

黃偉峰

摘 要： 數據中心運維自動化系統建設，基于數據中心行業的特點和需求，能夠自適應混合環境，支持快速故障恢復，按照不同運維場景實現自定義的運維操作，促進了數據中心的敏捷運維，推動數據中心向運維規范化、自動化、智能化轉型。

關鍵詞： 數據中心； 自動化； 敏捷運維； 故障恢復； 轉型

中圖分類號：TP399 文獻標志碼：A 文章編號：1006-8228（2017）05-83-04

Construction of data center automation system for agile operation

Huang Weifeng

（Shanghai Pudong Development Bank， Information Technology Department， Shanghai 200000， China）

Abstract： The automatic system for data center operation and maintenance is constructed based off the characteristic and requirement of the data center industry， the system can support hybrid environment adaptively， support fast fault recovery， and achieve custom operation according to the different scenario， which promotes the agile operation of the data center， and promotes transformation of the operation and maintenance of data center to standardization， automation and intelligent.

Key words： data center； automation； agile operation； fault recovery； transformation

0 引言

伴隨企業業務系統規模迅速擴大，數據中心正面臨系統架構集群化資源化、應用架構面向服務松耦合、業務連續性要求日益嚴苛、人均運維工作量持續增長等發展趨勢。傳統運維在系統量日益增長的現狀下顯現出效率低、成本高、風險大等各種問題，浦發銀行因此開展面向敏捷運維的運維自動化系統建設（以下簡稱運維自動化系統），通過該系統，對各類IT資源實現自動化裝機、日常巡檢、應用發布自動化、個性化運維調度、自動化打補丁、主機信息查詢、合規檢查自動化、配置收集自動化、故障自動診斷與處置等功能，以提高基礎資源和應用部署的自動化水平，實現快速交付、動態調整、彈性部署，降低人工操作風險，提升風險管控技術能力，實現數據中心的敏捷運維。

1 運維自動化系統的技術架構

數據中心運維自動化系統的整體物理架構如圖1所示[5]。

運維自動化系統架構中包括服務器自動化組件、網絡自動化組件、自動化引擎組件、故障恢復組件、數據采集、報表組件和管理門戶共六個部分。

故障恢復組件，通過與監控平臺聯動，抽取故障信息，通過匹配微服務知識庫，觸發高性能數據引擎獲得故障現場快照，并執行相應操作，達到快速恢復生產問題的效用。該組件包括的高性能搜索引擎可以在海量數據中快速定位故障，并把非優化的數據通過可視化圖表的方式展現在前臺，為快速鎖定生產問題提供便捷通道。該組件支持微服務知識庫和微服務應用的方式進行靈活的場景拓展，實現一個個面向具體運維場景的故障恢復自動化。

2 運維自動化系統的技術特點

針對數據中心運維現狀，我們在前期認真調研了實際工作中的各種需求，設計開發了本系統。目前本系統已承載各種各樣的IT基礎設施運維，包括網絡、服務器、存儲、應用等，通過本系統實現對這些基礎設施統一操作。現就本系統實現的幾個關鍵技術特點進行分析和總結。

2.1 自適應混和環境

運維自動化系統后臺邏輯架構設計理念之一是能夠自適應混合IT軟硬件環境，涉及三方面核心服務。

⑴ 分布式自動發現（眼）

自動發現的數據來源有兩部分，一部分是如圖2下面區域所示，通過部屬于各個網段的衛星節點，自動發現和納管新上線服務器，自適應多種機型以及其上多類軟件；另一部分是如圖2左邊區域所示，通過豐富的平臺接口，獲取周邊關聯系統信息，采集來的數據經過匯聚、清洗、比對與合成，進入到配置庫中。

⑵ 自適應規則匹配（腦）

系統中預定義了四種自適應規則，通過前一步分布式自動發現得到的配置數據，根據不同軟硬件類型和不同版本，選用組件庫中的模塊組件，自適應地開展裝機、巡檢、配置收集、軟件發布。

⑶ 行為驅動調度（手）

根據自適應規則匹配服務結果，調度相應的模塊組件，驅動執行。

2.2 支持快速故障恢復

運維自動化系統支持上百臺乃至更大規模集群的分鐘級故障快速診斷與恢復。

基于大數據技術，將各方面運維數據采集、關聯、統計分析和可視化展現，在海量數據中快速定位故障關鍵信息。另外，基于預定義的故障處理規則，自動識別故障場景告警特征[6]，選擇對應的故障修復程序以及事后檢查程序，調度執行。

系統基于微服務的系統架構，實現功能解耦，數據采集、傳輸、緩存、索引等均采用全自動化方式設計和實現。提供充分的第三方接口，可便捷的拓展新的數據分析和故障恢復模型。

系統對復雜的運維大數據流程進行了封裝，提供可視化的云服務給用戶。系統利用高性能運維數據采集引擎收取節點相關信息，把非結構、半結構的數據轉換為可視化圖表和表格，在高性能搜索引擎下，在海量數據中快速定位故障關鍵信息，系統基于預先定義的故障處理規則，主動判斷匹配、協同故障場景配置參數，選擇對應的故障修復程序以及事后檢查程序[4]，調度執行，執行結果和檢查結果輸出返回給監控報警系統關聯告警信息。執行決策過程支持人工介入或全自動兩種方式。

該特點適用于故障特征明顯、監控告警定位精準、配套處理步驟明確的場景。

對于無法通過監控平臺直接定位到故障根源的場景，需登錄上百臺乃至更大規模集群再逐臺排查的方式顯然是無法接受的，系統支持一鍵式故障快照收集、自動問題診斷定位和自動深入分析，即發生故障時，運維人員一鍵執行后：

第一步，快照收集。由運維自動化系統調度和執行部署于被管節點的信息收集器，將近期操作系統性能容量（CPU、內存、DISK、FS空間）和日志數據、中間件性能容量（應用吞吐率、執行線程使用率、JDBC使用率）和日志、線程（threaddump）、進程（lsof）和內存堆棧（heapdump）等，匯總歸集在管理節點上，這些收集信息的腳本、命令和工具在自動化裝機階段已經包含在裝機和軟件部屬的組件當中、與當前應用場景無縫銜接。

第二步，自動診斷。通過部屬于管理節點上的分析器，對服務器和中間件性能容量數據排序、對每臺服務器操作系統和每個中間件server日志報錯總數進行統計、對未達報警級別的敏感關鍵字日志進行統計，按TOP排名列出可能是故障根源的可疑節點，以便在上百臺機器中定位到問題節點[2]。

第三步，自動分析。基于已定位可疑節點，在已匯總歸集的故障現場快照中進一步分析，形成分析結果。

2.3 服務功能組件化

運維過程中，用戶的需求時刻在變化，比如圖3中這位運維人員遇到的四個需求，這些需求在系統建設之初是難以全部考慮到的，即使考慮到，固化的預定義功能也無法靈活的根據需求場景快速調整。為此，系統支持用戶自助式在前端維護界面自定義任務并按需調度、支持在系統后臺通過拖拽拼裝組件模塊方式快速滿足新需求。

服務功能組件庫的搭建分為三步。

第一步，預定制化了2000余個運維腳本，包括shell＼bat＼python＼vbs等，支持在Windows、HPUX、Linux、AIX等多個操作系統，另外用戶也可以在前端維護界面自助式自定義腳本并按需定時調度。

第二步，將預定制的運維腳本封裝為結構化、標準化的組件模塊，供后續重用。

第三步，通過這些組件之間的排列組合、定義組件之間的關系，形成面向操作流程的500余項服務流。

例如，AIX操作系統的安裝涉及到將SHELL腳本以及配置參數封裝為組件庫中的獲取LPAR狀態[1]、檢查LPAR狀態、安裝AIX、配置等等組件，對這些組件拼接關聯，實現整個AIX操作系統安裝的服務流。

3 實現敏捷運維的應用場景

基于運維自動化系統的技術特點，以促進敏捷運維的要求，我行將自動化技術廣泛運用于數據中心的各類運維場景。

3.1 運維過程自動化

運維自動化系統目前實現了健康巡檢自動化、安裝部署自動化、合規檢查自動化、配置收集自動化、應用發布自動化、自動化流程引擎、報表、管理門戶、用戶、角色和權限管理、操作記錄和審計等功能性目標，還包括高可用架構支持、系統架構支持、受管資源支持及系統整合等非功能性目標，用于提高整體運維水平和效率。

3.2 運維流程標準化

系統支持各類運維流程，如健康巡檢、合規檢查、安裝部署、配置收集和故障處置，均根據實際運維需求對不同操作系統、數據庫、中間件、服務器等基礎軟硬件資源進行操作，為了能夠滿足組件標準化，訪問接口標準化，運維標準化和交付標準化的要求，通過分布式部署的采集引擎，定時將所需要的配置信息統一格式化后通過預封裝的安全通道推送給預定義的基于POI技術的分析引擎，經過分析引擎中定義的主機信息關聯算法，將每臺主機的相關硬件，系統，軟件等信息根據主機名和所屬區域主鍵進行關聯后按照標準格式統一進行存儲；并且通過前臺程序的再一次根據業務流程模塊化封裝將這些信息，以提供前臺操作以最大的靈活性，使得日常運維操作日趨標準和便捷。

3.3 運維調度個性化

為了支持用戶自定義運維操作，適用于各類個性化運維場景，并形成知識庫在管理界面可供所有用戶閱讀與調度。系統將用戶在界面上預定義的命令或腳本，通過解析引擎進行標準化封裝，產生基于Unix或者Windows平臺的標準化腳本，然后通過封裝與安裝在各納管機上代理程序的安全通道，將腳本通過加密算法加密壓縮，并發傳送給需要執行的被納管機進行執行，然后通過分布式部署在各個區域的衛星節點服務器，統一收集相關結果信息或者文件，經過分布式處理引擎，將數百乃至上千臺納管機上運行的結果文件進行統一標準化處理后存入數據庫[3]。在前臺，用戶可以通過頁面展示，發送郵件或者導出文件等多種方式來查詢結果，這個功能基于標準化，滿足個性化，在運維需求多樣化的背景下，最大程度提高了運維效率，提高了運維操作的便易性。

3.4 故障恢復快速化

運維自動化系統在集群中各節點分布式部署高性能數據采集引擎，將系統性能容量（CPU、內存、DISK、FS空間）和日志數據、中間件性能容量（應用吞吐率、執行線程使用率、JDBC使用率）和日志、線程（threaddump）、進程（lsof）和內存堆棧（heapdump）等信息匯總歸集在管理節點上，將非結構、半結構的數據轉換為可視化圖表和表格，在高性能搜索引擎下，在海量數據中快速定位故障關鍵信息，系統基于預先定義的故障處理規則，主動判斷匹配、協同故障場景配置參數，選擇對應的故障修復程序，以及事后檢查程序，調度執行，執行結果和檢查結果輸出返回給監控報警系統關聯告警信息。采用微服務的方式提供定制化的場景實現生產的故障快速診斷和恢復功能，提高了生產系統應急響應能力。

4 系統效益

面向敏捷運維的自適應運維自動化系統自2014年底上線，浦發數據中心技術人員在近千臺服務器上完成裝機或軟件部署任務，健康巡檢腳本執行頻次超過200萬次，主機信息查詢功能使用頻次上萬次，每日對數據中心全轄數千臺服務器開展配置信息自動化采集，不定期對關鍵三十余個系統開展應用自動化變更，全年共計節省4900余人天。隨著數據中心生產設備規模不斷擴張、項目持續投產上線，系統將在數據中心生產運維過程中發揮越來越大的價值。

系統通過與監控平臺聯動，實現故障的快速診斷和恢復，支持部分故障場景實時自動恢復，加快了故障信息收集和處置速度，提高運維過程中應急響應速度。

5 結束語

通過數據中心運維自動化系統建設，使得數據中心運維成本顯著降低，減少人工操作的風險，提升了風險管控技術能力，更適應金融行業的業務發展，推動數據中心向運維規范化、自動化、智能化轉型。

隨著自動化技術在數據中心的深入使用，對自動化系統也提出了更高的要求。比如應用程序的變更管理流程如何與自動化系統有效銜接，如何借助運維大數據技術以進一步提前開展對生產預警的高效處置，這些是我們需要進一步研究的方向，相信自動化的持續運用能顯著促進數據中心的敏捷運維水平。

參考文獻（References）：

[1] 劉天斯.Python自動化運維[M].機械工業出版社，2014.

[2] 王軍.LINUX系統命令及SHELL腳本實踐指南[M].機械工業出版社，2014.

[3] 陳吉平.構建Oracle高可用環境：企業級高可用數據庫架構.實戰與經驗總結[M].電子工業出版社，2008.

[4] 孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013.50（1）：146-169

[5] 楊寧，王磊.故障管理在IT運維中的應用.信息技術與標準化，2016.12：10-13

[6] Bill Franks，黃海，王悅譯.Opsware自動化系統管理員手冊[M].人民郵電出版社，2013.