IT信息化建設(shè)中自動(dòng)化設(shè)計(jì)方案

隨著信息化在電力的深入應(yīng)用，以及下一代互聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)技術(shù)的整體環(huán)境影響下，IT信息化建設(shè)對(duì)業(yè)務(wù)運(yùn)行支撐愈來(lái)愈重要，而與此同時(shí)IT系統(tǒng)運(yùn)行穩(wěn)定、IT服務(wù)快速響應(yīng)、IT輔助決策等IT運(yùn)維的工作，則變得比以往都至關(guān)重要。本文詳細(xì)調(diào)研和摸查廣州供電局實(shí)際的運(yùn)維場(chǎng)景和自動(dòng)化運(yùn)維需求，結(jié)合當(dāng)前主流的IT技術(shù)：Consul、Netty、Nodejs、Tornado、Nginx、Docker等，以及DevOps運(yùn)維理念，總結(jié)和提煉出廣州供電局的信息自動(dòng)化運(yùn)維建設(shè)思路，包括自動(dòng)化運(yùn)維框架體系、平臺(tái)邏輯設(shè)計(jì)、建設(shè)階段與路徑、最佳實(shí)踐等內(nèi)容，并逐步進(jìn)行廣州供電局部分運(yùn)維工作的自動(dòng)化建設(shè)。為提高運(yùn)維效率、減少人為誤差，以及更長(zhǎng)遠(yuǎn)的應(yīng)用下一代互聯(lián)網(wǎng)技術(shù)、DevOps實(shí)踐、故障自愈，和智能運(yùn)維提供思路與架構(gòu)模型。

【關(guān)鍵詞】自動(dòng)化運(yùn)維 PAAS ESB DevOps 故障自愈 SAAS

為實(shí)現(xiàn)信息化引領(lǐng)企業(yè)發(fā)展，原有的系統(tǒng)將不斷通過(guò)迭代和擴(kuò)展功能來(lái)達(dá)到健壯和完善的目標(biāo)，而與此同時(shí)，外部的互聯(lián)網(wǎng)技術(shù)、云計(jì)算、大數(shù)據(jù)技術(shù)也在不斷的為各個(gè)行業(yè)創(chuàng)造新的價(jià)值。不斷增長(zhǎng)的IT規(guī)模，以及各類技術(shù)棧在廣州供電局的應(yīng)用，和日益增高的安全及可用性需求，都對(duì)運(yùn)維工作提出了更高的要求。如何進(jìn)一步提高業(yè)務(wù)穩(wěn)定性，提升IT對(duì)業(yè)務(wù)的敏捷響應(yīng)，甚至輔助業(yè)務(wù)運(yùn)營(yíng)分析，都是未來(lái)很長(zhǎng)一段時(shí)間需要不斷對(duì)運(yùn)維進(jìn)行思考的問(wèn)題。

自動(dòng)化運(yùn)維是一種運(yùn)維模式的創(chuàng)新，這種模式會(huì)結(jié)合平臺(tái)系統(tǒng)、運(yùn)維流程、運(yùn)維人員能力、以及業(yè)務(wù)輔助來(lái)規(guī)劃和建設(shè)。它既能從實(shí)際層面解決運(yùn)維的重復(fù)性工作執(zhí)行效率、提升運(yùn)維的安全性和準(zhǔn)確性，以提升業(yè)務(wù)的可靠性，也能幫助將運(yùn)維模式朝新型的DevOps模式進(jìn)行轉(zhuǎn)變，運(yùn)維可自定義運(yùn)維工具來(lái)滿足多變的場(chǎng)景，提升運(yùn)維的創(chuàng)造力，提升IT敏捷效率，以及為業(yè)務(wù)輔助提供數(shù)據(jù)與平臺(tái)。

本文通過(guò)技術(shù)研究與實(shí)踐后，對(duì)自動(dòng)化運(yùn)維體系的理解，包括自動(dòng)化運(yùn)維框架體系、平臺(tái)邏輯設(shè)計(jì)、建設(shè)階段與路徑、最佳實(shí)踐等內(nèi)容，參考了當(dāng)前主流的IT技術(shù)：Consul、Netty、Nodejs、Tornado、Nginx、Docker等，以及DevOps運(yùn)維理念，再深入結(jié)合廣州供電局的具體運(yùn)維場(chǎng)景和現(xiàn)狀，進(jìn)行了分析和規(guī)劃，并探索出可落地的自動(dòng)化運(yùn)維規(guī)劃。

1 IT運(yùn)維自動(dòng)化推動(dòng)背景

隨著業(yè)務(wù)模式多樣化的需求，以及IT技術(shù)飛速的發(fā)展，廣州供電局對(duì)IT系統(tǒng)的運(yùn)維，已進(jìn)入一個(gè)“新常態(tài)”。在這個(gè)“新常態(tài)中”，廣州供電局IT運(yùn)維有一些顯著的變化：

1.1 規(guī)模大

廣州供電局平臺(tái)規(guī)模呈快速增長(zhǎng)趨勢(shì)，新業(yè)務(wù)規(guī)劃需要更龐大而又靈活的IT架構(gòu)來(lái)進(jìn)行支撐，服務(wù)器數(shù)量、運(yùn)營(yíng)數(shù)據(jù)、安全風(fēng)險(xiǎn)種類日益增多。

1.2 技術(shù)棧復(fù)雜

各類操作系統(tǒng)、虛擬化平臺(tái)、應(yīng)用中間件、業(yè)務(wù)配置選項(xiàng)等加大了管理復(fù)雜度，軟件定義數(shù)據(jù)中心、容器技術(shù)、大數(shù)據(jù)、云計(jì)算等高效技術(shù)的引進(jìn)增加了IT人員技術(shù)儲(chǔ)備的壓力。

1.3 新的開(kāi)發(fā)模式

業(yè)務(wù)系統(tǒng)的開(kāi)發(fā)運(yùn)維，從單體、瀑布架構(gòu)，向Devops、微服務(wù)架構(gòu)演進(jìn)。

1.4 IT敏捷性的要求

應(yīng)用發(fā)布、更新比以往更頻繁，應(yīng)用可用性要求為永久可用等等。

電力的信息系統(tǒng)整體運(yùn)維也面臨著從舊運(yùn)維模式到新運(yùn)維模式的轉(zhuǎn)變，傳統(tǒng)運(yùn)維模式的三個(gè)重要特征：

（1）依賴于運(yùn)維人員的運(yùn)維管理技能與經(jīng)驗(yàn)；

（2）以腳本作為配置管理的主要手段；

（3）各個(gè)系統(tǒng)之間沒(méi)有打通，運(yùn)維管理需要在不同的系統(tǒng)與平臺(tái)間手動(dòng)切換。

而探索新的運(yùn)維模式需要具備三個(gè)方面的特征：

（1）運(yùn)維管理不再依賴運(yùn)維腳本，而是基于場(chǎng)景化的運(yùn)維工具；

（2）運(yùn)維平臺(tái)強(qiáng)調(diào)自動(dòng)化，能夠進(jìn)行自動(dòng)化巡檢、故障恢復(fù)等；

（3）強(qiáng)調(diào)可編排（編程）性，能夠通過(guò)編排等手段支持復(fù)雜的運(yùn)維場(chǎng)景。

2 IT運(yùn)維自動(dòng)化設(shè)計(jì)方案

2.1 IT運(yùn)維自動(dòng)化設(shè)計(jì)思路

廣州供電局在自動(dòng)化運(yùn)維的過(guò)程中也做過(guò)很多的探討，除了積累大量的自動(dòng)化腳本外，也考察過(guò)Ansible、Saltstack、Puppet、Chef等自動(dòng)化運(yùn)維工具，但是遇到過(guò)很多的難點(diǎn)，而從難點(diǎn)中提取出來(lái)的經(jīng)驗(yàn)就是，自動(dòng)化運(yùn)維不應(yīng)以技術(shù)和平臺(tái)為驅(qū)動(dòng)力，而是要以運(yùn)維場(chǎng)景為驅(qū)動(dòng)力。

這也是自動(dòng)化運(yùn)維落地的難點(diǎn)所在：自動(dòng)化運(yùn)維需要滿足且持續(xù)不斷滿足業(yè)務(wù)定義的運(yùn)維場(chǎng)景，而運(yùn)維場(chǎng)景有著變化、靈活、跟企業(yè)運(yùn)維模式緊密相關(guān)的特點(diǎn)。并且還需要應(yīng)對(duì)運(yùn)維組織、運(yùn)維技術(shù)能力等帶來(lái)的一系列變革和沖擊。

在這種前提下，我們首先需要定義自動(dòng)化運(yùn)維的場(chǎng)景并且認(rèn)識(shí)它的特點(diǎn)。運(yùn)維的場(chǎng)景是指：一系列運(yùn)維活動(dòng)與管理活動(dòng)的聯(lián)動(dòng)，并遵循流程進(jìn)行滿足業(yè)務(wù)需求的運(yùn)維設(shè)計(jì)。例如：軟件安裝，是一個(gè)運(yùn)維活動(dòng)；而業(yè)務(wù)部署，則是一個(gè)運(yùn)維場(chǎng)景，除了軟件安裝的活動(dòng)外，還有配置、驗(yàn)證測(cè)試、上線切換等運(yùn)維活動(dòng)，并且還需要遵循企業(yè)業(yè)務(wù)部署的流程和安全規(guī)范。這個(gè)場(chǎng)景里面，需要用到資源驅(qū)動(dòng)力、流程集成性、自動(dòng)化執(zhí)行、流程編排等一系列技術(shù)，而這還只是一個(gè)場(chǎng)景。

通過(guò)詳細(xì)的調(diào)研，廣州供電局典型的運(yùn)維場(chǎng)景部分列舉如下：

業(yè)務(wù)部署：完成業(yè)務(wù)軟件的安裝、配置、驗(yàn)證測(cè)試、上線切換等動(dòng)作。

配置變更：修改平臺(tái)、軟件、用戶等的配置信息以及配置基線管理。

狀態(tài)巡檢：對(duì)系統(tǒng)運(yùn)行狀態(tài)進(jìn)行常例化巡檢，評(píng)估系統(tǒng)運(yùn)行狀態(tài)。

容量分析：實(shí)時(shí)分析系統(tǒng)容量信息，輸出容量報(bào)表，管理閾值，觸發(fā)容量告警。

故障響應(yīng)：能夠基于故障類型、業(yè)務(wù)類型等信息自動(dòng)化對(duì)故障進(jìn)行分析處理。

自動(dòng)化運(yùn)維框架建設(shè)的原則應(yīng)充分考慮場(chǎng)景化運(yùn)維的復(fù)雜性、擴(kuò)展性和靈活性。并應(yīng)該具備如下幾種能力：

（1）自動(dòng)化運(yùn)維平臺(tái)應(yīng)具備PAAS的能力，它能驅(qū)動(dòng)企業(yè)各個(gè)IT組件，包括新的技術(shù)如互聯(lián)網(wǎng)組件、大數(shù)據(jù)平臺(tái)等，舊的如已有的一些各個(gè)廠商的設(shè)備，它的擴(kuò)展性要比以往的要求更高，而不是局限在廠商自己軟硬件產(chǎn)品的自動(dòng)化運(yùn)維工具上，要脫離工具上升到平臺(tái)級(jí)別；

（2）平臺(tái)能高效集成企業(yè)運(yùn)維流程，將ITSM和ITOM高度聯(lián)動(dòng)，實(shí)現(xiàn)流程真正的自動(dòng)化；

（3）運(yùn)維應(yīng)具備運(yùn)維開(kāi)發(fā)的能力，運(yùn)維IT需要從傳統(tǒng)產(chǎn)品化運(yùn)維人員，走向開(kāi)發(fā)運(yùn)維，自己能通過(guò)運(yùn)維開(kāi)發(fā)的方式實(shí)現(xiàn)自己的個(gè)性化運(yùn)維需求，并幫助業(yè)務(wù)實(shí)現(xiàn)敏捷交付。

2.2 自動(dòng)化運(yùn)維框架

參考ITOM理念和主流自動(dòng)化運(yùn)維技術(shù)架構(gòu)，從打造IT運(yùn)維能力角度出發(fā)（IT運(yùn)維能力是指企業(yè)信息化運(yùn)維的一套效能體系），圍繞IT運(yùn)維能力持續(xù)的建設(shè)，將不斷豐富和優(yōu)化企業(yè)的運(yùn)維模式。設(shè)計(jì)的自動(dòng)化運(yùn)維框架如圖1。

在這一套體系里面，有兩個(gè)概念非常重要：

2.2.1 PAAS平臺(tái)

自動(dòng)化運(yùn)維的運(yùn)維對(duì)象驅(qū)動(dòng)能力至關(guān)重要，這也是自動(dòng)化運(yùn)維場(chǎng)景得以實(shí)現(xiàn)的最大技術(shù)阻礙，PAAS的能力在于可以通過(guò)Agent、接口、協(xié)議等多種模式來(lái)驅(qū)動(dòng)運(yùn)維對(duì)象，無(wú)論是硬件還是軟件；并且PAAS提供了企業(yè)可以定制自己運(yùn)維SAAS的能力，只有按這種模式走，才能去覆蓋企業(yè)定制化的、龐大復(fù)雜的運(yùn)維需求。

2.2.2 運(yùn)維能力的落地

運(yùn)維能力不能僅局限于單個(gè)產(chǎn)品的功能便捷，它應(yīng)該是從運(yùn)維需求和規(guī)劃出發(fā)，多個(gè)運(yùn)維SAAS應(yīng)用來(lái)組裝成運(yùn)維能力，如圖2。

2.3 自動(dòng)化運(yùn)維技術(shù)關(guān)鍵-運(yùn)維ESB

如何高效驅(qū)動(dòng)各個(gè)自動(dòng)化運(yùn)維的對(duì)象，以及并保留持續(xù)的擴(kuò)展能力，將是自動(dòng)化運(yùn)維技術(shù)關(guān)鍵所在。這里參考業(yè)務(wù)系統(tǒng)的ESB（企業(yè)服務(wù)總線）模式，建設(shè)一套企業(yè)運(yùn)維的服務(wù)總線，并采取如圖3所示。

運(yùn)維ESB的模式將解決核心問(wèn)題：運(yùn)維流程調(diào)度。腳本原子可以實(shí)現(xiàn)對(duì)資源驅(qū)動(dòng)，原子可以相互組合成服務(wù)組件，應(yīng)用API可以直接注冊(cè)到ESB。這種模式的價(jià)值體現(xiàn)在將各個(gè)IT對(duì)象的操作原子化，不僅可充分利用已有對(duì)象開(kāi)發(fā)的API和通用協(xié)議，還可以將企業(yè)已有的腳本沉淀并導(dǎo)入；原子組裝成服務(wù)組件，服務(wù)組件將具備更大的靈活性，這對(duì)場(chǎng)景的支撐將會(huì)覆蓋度更完整；服務(wù)組件的積累將豐富運(yùn)維ESB的能力，并可以快捷方便的支撐各類工具和運(yùn)維應(yīng)用。

2.4 自動(dòng)化運(yùn)維落地模式-運(yùn)維SAAS

如果定義運(yùn)維自動(dòng)化需要一系列的運(yùn)維工具及產(chǎn)品來(lái)滿足各個(gè)場(chǎng)景，那在自動(dòng)化運(yùn)維平臺(tái)上，比較完美的方式則是建設(shè)一個(gè)開(kāi)放的SAAS應(yīng)用環(huán)境?；赟AAS運(yùn)維APP形成企業(yè)的運(yùn)維應(yīng)用商店，滿足各個(gè)運(yùn)維人員的多場(chǎng)景運(yùn)維需求，并以此為可落地的方式建設(shè)企業(yè)運(yùn)維能力；SAAS應(yīng)用統(tǒng)一調(diào)度平臺(tái)的底層驅(qū)動(dòng)能力，從而構(gòu)建一個(gè)可快速、便捷和擴(kuò)展的整體運(yùn)維體系與能力；SAAS應(yīng)用的來(lái)源可來(lái)源于真正的一線運(yùn)維人員，讓他們具備運(yùn)維開(kāi)發(fā)的能力后，能真正積累出屬于自己的運(yùn)維應(yīng)用，并助力IT運(yùn)維轉(zhuǎn)型；運(yùn)維的SAAS應(yīng)用將會(huì)是從運(yùn)維場(chǎng)景需求出發(fā)，而產(chǎn)生的運(yùn)維工具，如圖4所示。

3 IT運(yùn)維自動(dòng)化建設(shè)規(guī)劃

冰凍三尺非一日之寒，自動(dòng)化運(yùn)維的建設(shè)也不僅僅是一套產(chǎn)品、一個(gè)項(xiàng)目可以達(dá)成的，自動(dòng)化運(yùn)維需要按不斷滿足業(yè)務(wù)場(chǎng)景，不斷抽象出運(yùn)維能力的模式來(lái)實(shí)現(xiàn)。要實(shí)現(xiàn)成熟的自動(dòng)化運(yùn)維要分三個(gè)階段：

（1）梳理階段，進(jìn)行需求調(diào)研，含運(yùn)維場(chǎng)景梳理，運(yùn)維需求整理。這個(gè)工作是自動(dòng)化切入的重中之重，調(diào)研要覆蓋運(yùn)維班助的各個(gè)運(yùn)維領(lǐng)域，而且需要了解運(yùn)維工作、運(yùn)維自動(dòng)化需求等運(yùn)維人員的訴求，以及管理上的需求。以廣州供電局的數(shù)據(jù)庫(kù)運(yùn)維為例，梳理出來(lái)的內(nèi)容有日常工作，巡檢（查看服務(wù)狀態(tài)、數(shù)據(jù)庫(kù)用戶狀態(tài)、性能狀態(tài)、表空間使用率、CPU、磁盤(pán)使用率）、物理備份和邏輯備份檢查；周期性工作，周報(bào)（故障、優(yōu)化項(xiàng)工作、處理的告警）、月報(bào)（關(guān)鍵系統(tǒng)運(yùn)行情況（CPU、內(nèi)存、服務(wù)狀態(tài)、性能情況））；非周期性工作，安裝數(shù)據(jù)庫(kù)、賬號(hào)管理、數(shù)據(jù)管理-導(dǎo)數(shù)等、安全加固、性能調(diào)優(yōu)、表空間擴(kuò)容、后臺(tái)日志清理（監(jiān)控平臺(tái)給出）、數(shù)據(jù)庫(kù)遷移（1年7-8次）、版本升級(jí)。運(yùn)維人員提出自動(dòng)化需求含數(shù)據(jù)庫(kù)用戶管理，巡檢、部分報(bào)告，數(shù)據(jù)庫(kù)日志管理，表空間自動(dòng)擴(kuò)容，自動(dòng)導(dǎo)數(shù)，數(shù)據(jù)庫(kù)環(huán)境交付，安全加固，后臺(tái)日志清理。

（2）階段規(guī)劃，包括運(yùn)維對(duì)象接入、運(yùn)維APP開(kāi)發(fā)、運(yùn)維能力集成，定義3-5年的運(yùn)維SAAS應(yīng)用建設(shè)規(guī)劃，并圍繞持續(xù)的運(yùn)維能力建設(shè)展開(kāi)，如圖5所示。

（3）持續(xù)改善與運(yùn)營(yíng)，包括APP集成、DevOps建設(shè)、故障自愈建設(shè)，持續(xù)優(yōu)化等；

以DevOps為例，代碼構(gòu)建、自動(dòng)化測(cè)試、代碼檢查、版本持續(xù)交付，標(biāo)準(zhǔn)化企業(yè)發(fā)布流程，實(shí)現(xiàn)自動(dòng)化發(fā)布。

4 結(jié)語(yǔ)

本文針對(duì)目前廣州供電局和電網(wǎng)信息系統(tǒng)的運(yùn)維現(xiàn)狀，結(jié)合新型的互聯(lián)網(wǎng)技術(shù)架構(gòu)，提出的自動(dòng)化運(yùn)維的理論、自動(dòng)化運(yùn)維架構(gòu)、自動(dòng)化運(yùn)維的規(guī)劃建設(shè)。主要集成了運(yùn)維PAAS、運(yùn)維ESB、運(yùn)維APP商店等技術(shù)概念，并充分結(jié)合電網(wǎng)信息系統(tǒng)運(yùn)維的特點(diǎn)，提出整體的自動(dòng)化運(yùn)維建設(shè)模式。隨著政府十三五信息化指導(dǎo)意見(jiàn)書(shū)明確提出打造智能化運(yùn)維體系，同時(shí)隨著企業(yè)內(nèi)外部IT環(huán)境的變化，自動(dòng)化運(yùn)維將為企業(yè)的運(yùn)維效率、敏捷業(yè)務(wù)支撐、提高業(yè)務(wù)可用性帶來(lái)全新的局面，然而自動(dòng)化運(yùn)維的建設(shè)的確不容易，且會(huì)對(duì)企業(yè)運(yùn)維的整體架構(gòu)帶來(lái)巨大的改變，所以需要以步步為營(yíng)、逐步建設(shè)的思路來(lái)帶動(dòng)電力信息系統(tǒng)自動(dòng)化運(yùn)維建設(shè)。本文提出的部分架構(gòu)和思路，已逐步開(kāi)始應(yīng)用于廣州供電局的運(yùn)維場(chǎng)景，并在提高效率、提高運(yùn)維質(zhì)量、提高安全度上取得了不錯(cuò)的效果，后續(xù)將持續(xù)的建設(shè)，使企業(yè)持續(xù)獲得IT的有效支撐與價(jià)值呈現(xiàn)。

參考文獻(xiàn)

[1]李亞瓊. 場(chǎng)景化運(yùn)維—平臺(tái)、引擎與自動(dòng)化，2016 全球運(yùn)維大會(huì)，2013.

[2]毛承國(guó)，張衛(wèi)華，張進(jìn)鐸，等.大規(guī)模集群運(yùn)維自動(dòng)化的探索與實(shí)踐[J].信息安全與技術(shù)，2014（02）.

[3]溫超.電力信息系統(tǒng)運(yùn)維管理自動(dòng)化解決方案[J].山東電力技術(shù)，2012（01）.

[4]杜成武.IT運(yùn)維綜合管理平臺(tái)實(shí)現(xiàn)科技管理信息化[J].金融科技時(shí)代，2012（08）.

[5]王慶霞.淺談IT運(yùn)維管理的應(yīng)用與實(shí)踐[J].信息安全與技術(shù)，2012（11）.

[6]戚偉強(qiáng)，沈?yàn)t軍，洪建光，等.基于ITIL的電力信自動(dòng)化運(yùn)維體系研究[J].現(xiàn)代電子技術(shù)，2012（02）.

[7]閆龍川，劉軍.企業(yè)信息系統(tǒng)自動(dòng)化運(yùn)維工具研究與應(yīng)用[J]. 供用電，2015（08）.

[8]李磊.IT自動(dòng)化運(yùn)維平臺(tái)建設(shè)和應(yīng)用 信息技術(shù)與標(biāo)準(zhǔn)[J].信息技術(shù)與標(biāo)準(zhǔn)化，2016（10）.

作者簡(jiǎn)介

趙靜（1982-），女，湖北省武漢市人。碩士學(xué)位。廣州供電局運(yùn)維工程師。研究方向?yàn)樾畔⑦\(yùn)維。

作者單位

廣州供電局有限公司 廣東省廣州市 510620