自動化運維在電力行業(yè)中典型應(yīng)用場景研究與設(shè)計

尚 英，陳 武，童宇軒

（1.國網(wǎng)甘肅省電力公司蘭州供電公司，甘肅 蘭州 730050；2.國網(wǎng)信通億力科技有限責(zé)任公司， 福建 福州 350001）

1 自動化運維建設(shè)的思路及背景

1.1 自動化運維建設(shè)的背景

自動化運維作為一種創(chuàng)新的運維模式，結(jié)合了運維流程、平臺系統(tǒng)、運維人員的基本能力、業(yè)務(wù)規(guī)劃及業(yè)務(wù)建設(shè)。該系統(tǒng)可以解決重復(fù)性問題，并促進運維效率的提升，更好地確保業(yè)務(wù)安全性。

1.2 自動化運維建設(shè)的思路

運維自動化技術(shù)支撐體系建設(shè)通常有4種模式，即分散建設(shè)、集中模式、平臺模式、自助模式。這4種模式可以看成是企業(yè)運維自動化能力建設(shè)不斷走向成熟的4個階段，最終的目標(biāo)是實現(xiàn)自助運維。

采用1（平臺）+N（場景工具）模式的優(yōu)勢在于如下8點。（1）隨著運維規(guī)模的擴大，運維工具數(shù)量、種類也大幅增加，運維工具本身的管理成為必須面對的問題，需要統(tǒng)一集中的運維平臺支撐。（2）平臺具備廣泛的兼容性，可納管全面的IT設(shè)備和系統(tǒng)。（3）具備與現(xiàn)有運維工具集成的能力，最過往投資保護。（4）在平臺上可靈活擴展到更多運維場景，而不增加平臺維護成本.（5）平臺具備向數(shù)據(jù)化、智能化演進的可能性，滿足長期建設(shè)要求。（6）場景可由實際使用者根據(jù)自身使用需求提出并建設(shè)。（7）發(fā)揮多方積極性，各取所長.（8）運維團隊逐步具有較強的運維開發(fā)能力[1-2]。

2 自動化運維的總體框架

運維自動化技術(shù)支撐體系繼承ITOM3.0基礎(chǔ)技術(shù)要求，業(yè)務(wù)功能全部覆蓋ITOM3.0業(yè)務(wù)點，按“1平臺+N場景工具”的思路設(shè)計，分為運維對象層、采集控制層、技術(shù)平臺層、運維工具層、統(tǒng)一門戶層及大屏展示層。總體技術(shù)框架如圖1所示[3]。

對于運維對象層，即服務(wù)器、存儲、網(wǎng)絡(luò)、數(shù)據(jù)庫、中間件、應(yīng)用、業(yè)務(wù)系統(tǒng)及基礎(chǔ)設(shè)施等運維對象。

對于技術(shù)平臺層，由資源中心應(yīng)用（統(tǒng)一CMDB）、作業(yè)中心應(yīng)用、流程中心應(yīng)用、數(shù)據(jù)中心應(yīng)用、模型中心應(yīng)用、監(jiān)控中心應(yīng)用、AI中心應(yīng)用、集成中心應(yīng)用、開發(fā)中心應(yīng)用、agent控制中心應(yīng)用，共10個中心組成公共支撐平臺。中心內(nèi)部可采用緊耦合設(shè)計，實現(xiàn)中心內(nèi)部功能；中心之間采用去核心的分布式設(shè)計，實現(xiàn)分布式、扁平化的應(yīng)用結(jié)構(gòu)。

對于場景工具層，從資源管理類工具、監(jiān)控巡檢類工具、資源部署類工具、故障處置類工具、運行分析類工具、檢修管理類工具、安全管理類工具、備份管理類工具及運維能力提升類工具等方面規(guī)劃了9大類多個自動化運維工具，涵蓋了主要的運維場景。采用平臺模式，面向場景的工具建設(shè)是完全開放和不斷迭代的，未來各部門、各專業(yè)可以根據(jù)自身情況新增需求，靈活開發(fā)配置所需的場景工具。

對于大屏展現(xiàn)層，提供大屏全景展示和三維可視化展示能力，實時反映各類信息系統(tǒng)運行狀態(tài)，及時獲取運維自動化各項操作結(jié)果，協(xié)助調(diào)控運行人員及時把控全局，為決策提供依據(jù)。

自動化運維技術(shù)支撐體系按照特點可以總結(jié)為“一平臺、十中心、多場景、輕應(yīng)用”。

圖1 總體技術(shù)框架

2.1 自動化運維技術(shù)支撐平臺

Agent控制中心是整個平臺的底層管控系統(tǒng)，是自動化平臺所有其他服務(wù)的基礎(chǔ)，是平臺服務(wù)體系與用戶機器的連接器。Agent控制中心是典型的兩層分布式C/S結(jié)構(gòu)，主要包含智能統(tǒng)一Agent，提供各種服務(wù)的Server。其中，Agent是部署在業(yè)務(wù)機器上的程序，每臺業(yè)務(wù)機器理論上只可以部署一個；其他模塊部署無具體要求，可以單獨部署，也可以混合部署[4-5]。

整個自動化體系中，Agent控制中心沒有直面用戶，但Agent控制中心在自動化平臺體系中卻是不可或缺的，可為平臺其他模塊提供人機交互的通道與能力。

流程中心模塊實現(xiàn)對日常運行、檢修等運維管理流程的支撐需求，為運維管理工作提供流程流轉(zhuǎn)、待辦生成及任務(wù)分配等服務(wù)。流程管理需實現(xiàn)流程的設(shè)計、建模、模型測試、模型導(dǎo)入導(dǎo)出及瀏覽等功能。實例管理可對具體的業(yè)務(wù)流程實例進行查詢、統(tǒng)計、分析，并可人工調(diào)整流程走向。業(yè)務(wù)對象管理應(yīng)實現(xiàn)對業(yè)務(wù)對象的維護和瀏覽功能。用戶任務(wù)管理實現(xiàn)相關(guān)人員發(fā)起、審批、查看、回退及作廢流程等任務(wù)操作，并能夠支持自定義功能。系統(tǒng)管理需包括日志管理、權(quán)限管理及數(shù)據(jù)備份等功能。流程引擎作為流程中心應(yīng)用的核心，應(yīng)實現(xiàn)業(yè)務(wù)流程定義解析、活動間的路由網(wǎng)關(guān)協(xié)調(diào)處理、請求處理和引擎自身調(diào)度等功能。統(tǒng)一流程服務(wù)主要實現(xiàn)與其他中心應(yīng)用的接口功能。流程中心可對外提供可調(diào)用的流程定義列表、流程實例列表、即席查詢功能列表及待辦提醒等服務(wù)。

模型中心以智能模型為基礎(chǔ)，用于實時分析運維對象的健康狀態(tài)，并根據(jù)模型對運維對象的打分情況及時發(fā)出報警，同時基于機器學(xué)習(xí)的AI模型還可以提供運維對象健康狀態(tài)預(yù)測。智能模型主要包括5種模型。第一，健康模型。該模型是判別系統(tǒng)是否健康的指標(biāo)模型，通過一組符合指標(biāo)計算百分制的分數(shù)，通過分數(shù)高低表示系統(tǒng)健康狀態(tài)的好壞。第二，性能模型。通過負荷指標(biāo)計算百分制分數(shù)，通過分數(shù)高低表示系統(tǒng)性能的好壞。第三，負載模型。通過負荷指標(biāo)計算數(shù)據(jù)庫的負載情況，負載分數(shù)越高說明系統(tǒng)的負載越高。第四，資源模型。該模型是運維對象對資源的消耗情況的動態(tài)模型。第五，容量模型。池化、云化環(huán)境的業(yè)務(wù)容量對應(yīng)資源容量的模型，用于云環(huán)境的擴容規(guī)劃、資源調(diào)度等場景。

集成中心模塊通過提供API，統(tǒng)一以組件的形式對接企業(yè)服務(wù)總線。

開發(fā)中心提供完善的前后臺開發(fā)框架、調(diào)度引擎及公共組件等模塊，可以幫助用戶快速、低成本、免運維地構(gòu)建支撐工具和運營系統(tǒng)。

2.2 自動化運維典型應(yīng)用場景

信息系統(tǒng)日常運行維護中，由于運維對象、運維操作、運維流程及運維角色的不同，存在各種各樣的不同運維場景[6]。

某個運維對象產(chǎn)生監(jiān)控告警后，系統(tǒng)可根據(jù)預(yù)先確定的規(guī)則執(zhí)行某個應(yīng)急操作（場景1=監(jiān)控+應(yīng)急操作）。

有些情況下，還需要進一步自動創(chuàng)建一個事件單（場景2=監(jiān)控+應(yīng)急操作+創(chuàng)建事件單，這里與服務(wù)管理流程進行了聯(lián)動）。

如果滿足預(yù)先定義的一定條件，可能還要求同時向一定范圍的人員發(fā)送短信通知（場景3=監(jiān)控+應(yīng)急操作+創(chuàng)建事件單+短信通知，這里進一步與告警通知自動化流程進行了聯(lián)動）。

對于運維工作，場景的特定性和靈活性是很普遍的。例如，應(yīng)用升級或配置變更，每次實施的目的和內(nèi)容往往不盡相同，可稱為一個特定的“運維場景”。

2.2.1 補丁管理自動化場景

信息安全是IT運維管理永恒不變的主題。隨著數(shù)據(jù)中心的規(guī)模日漸增長，大量系統(tǒng)和設(shè)備每月的大量補丁缺乏高效、穩(wěn)定機制處理，在需要保證補丁最新更新的前提下，對應(yīng)急補丁要求能夠靈活快速響應(yīng)處理。補丁管理通常包含5項操作：從原廠官方同步補丁信息和補丁文件；在本地數(shù)據(jù)中心進行補丁文件的清洗、處理和轉(zhuǎn)存；從安全基線、服務(wù)器及補丁三個維度進行補丁實時發(fā)現(xiàn)；向有問題的系統(tǒng)或應(yīng)用推送補丁，完成補丁升級操作；對補丁升級后的系統(tǒng)或應(yīng)用進行持續(xù)監(jiān)測，確保補丁生效后的穩(wěn)定性。

因此，補丁管理場景=下載同步+清洗轉(zhuǎn)儲+監(jiān)控+補丁升級操作+監(jiān)控。可以采用自動化方式開發(fā)補丁管理工具，實現(xiàn)補丁更新工作管理，從權(quán)限顆粒化管理、自定義報表、服務(wù)器維度、補丁維度及基線維度進行補丁的統(tǒng)一更新操作，提升工作效率，保證業(yè)務(wù)平穩(wěn)運行。補丁管理自動化工具如圖2所示[7]。

圖2 補丁管理自動化工具

2.2.2 資源交付自動化場景

資源交付是數(shù)據(jù)中心運維常見的運維場景之一。隨著業(yè)務(wù)創(chuàng)新和用戶需求不斷變化，對于系統(tǒng)新業(yè)務(wù)快速上線，資源快速交付提出了更高要求。傳統(tǒng)資源交付涉及多個環(huán)節(jié)，需人工創(chuàng)建，耗費時間和人力。

需要構(gòu)建一套基于自動化的資源敏捷交付工具，將虛擬機創(chuàng)建、應(yīng)用組件安裝及網(wǎng)絡(luò)策略配置等操作步驟串聯(lián)到同一流程中，實現(xiàn)資源在線審批，一鍵策略下發(fā)和無人值守安裝，從而實現(xiàn)信息化系統(tǒng)虛擬機資源的敏捷交付。資源交付實施過程如圖3所示。

2.2.3 日常巡檢自動化場景

隨著信息系統(tǒng)復(fù)雜性和建設(shè)規(guī)模的不斷增大，各種復(fù)雜設(shè)備對人的要求越來越高，信息系統(tǒng)健康巡檢成為日常運維中工作量最大、重復(fù)性最高的工作。巡檢工作是一項標(biāo)準化、批量化的任務(wù)作業(yè)，非常適合利用自動化方式實現(xiàn)。

巡檢自動化工具，通過對作業(yè)中心和配置中心相關(guān)整合編排，實現(xiàn)對廣泛設(shè)備的健康巡檢[8]。功能及邏輯架構(gòu)設(shè)計如圖4所示。

巡檢任務(wù)返回的結(jié)果利用可視化技術(shù)，展示到Web頁面或直接通過郵件系統(tǒng)發(fā)送給運維管理人員。

圖3 資源交付實施過程

圖4 巡檢自動化功能及邏輯結(jié)構(gòu)

3 運維自動化建設(shè)規(guī)劃

第一階段，構(gòu)建強大的自動化基礎(chǔ)技術(shù)支撐平臺，實現(xiàn)統(tǒng)一采集、統(tǒng)一操作、統(tǒng)一資源、統(tǒng)一監(jiān)控及統(tǒng)一流程；構(gòu)建配置管理、性能監(jiān)控、基線管理、日志分析、備份驗證、數(shù)據(jù)拯救、應(yīng)用發(fā)布及電子標(biāo)簽等一系列自動化運維工具。

第二階段，健全完善運維自動化體系，實現(xiàn)自動化運維一體化管理；優(yōu)化崗位職責(zé)，完善技術(shù)手段，強化運維數(shù)據(jù)分析能力，實現(xiàn)應(yīng)用自動拓撲、故障自愈、預(yù)警管理，及全管理自動化，實現(xiàn)初步的應(yīng)用管理自動化。

第三階段，持續(xù)優(yōu)化運維自動化體系，實現(xiàn)自動化運維智能化（AIOPS），實現(xiàn)IT服務(wù)價值管理；提升技術(shù)手段，建立運維智能學(xué)習(xí)、趨勢預(yù)測，實現(xiàn)運維故障智能化處理、端到端的精益化運維管理。

4 運維自動化建設(shè)效益分析

通過運維自動化平臺建設(shè)，可以大幅提高運維生產(chǎn)力，提升IT管理效率，提升管理、經(jīng)濟及社會等多方面效益。

關(guān)于管理效益，實現(xiàn)工作流程規(guī)范化，統(tǒng)一運維管理、流程與執(zhí)行充分互動；實現(xiàn)故障分析智能化，能夠提前預(yù)防、無人值守、智能判斷與處理。

關(guān)于經(jīng)濟效益，通過運維自動化平臺建設(shè)，提高設(shè)備資源利用效率，降低采購成本；提高信息運維服務(wù)工作效率，降低人力成本。

關(guān)于社會效益，通過運維自動化平臺建設(shè)，為IT系統(tǒng)的安全、持續(xù)、不間斷運行提供了有利的支持，提高了信息系統(tǒng)運行可用率，持續(xù)提升公司運維服務(wù)水平的高度，為信息運維服務(wù)提供全面支持；IT系統(tǒng)的穩(wěn)定運行，可減少客戶投訴，提升服務(wù)水平，樹立良好的企業(yè)形象，提高企業(yè)品牌意識，更好地服務(wù)于社會大眾。

5 結(jié) 論

本文總結(jié)和提煉出電力行業(yè)的信息自動化運維建設(shè)思路，主要包含自動化運維的基本框架體系建設(shè)、平臺的邏輯設(shè)計及最佳的實踐方法等。同時，本文分析了運維自動化建設(shè)效益。