運維大數(shù)據(jù)和智能運維在電力行業(yè)的實踐

袁冠云

（廣東寶繹通信科技有限公司 ，廣東 廣州 510660）

0 引 言

信息技術(shù)的發(fā)展日新月異，大數(shù)據(jù)和智能運維技術(shù)在各大行業(yè)數(shù)字化轉(zhuǎn)型中不斷引發(fā)新的技術(shù)熱潮。IT運維領(lǐng)域涵蓋了各類不同的運維管理和監(jiān)控系統(tǒng)，在日常運行維護(hù)過程中不斷產(chǎn)生大量運維數(shù)據(jù)，包括日志、指標(biāo)、關(guān)系以及傳感器信息等。這些數(shù)據(jù)格式不一，解讀方式方法各異，卻覆蓋了IT系統(tǒng)運行過程中的方方面面。對運維數(shù)據(jù)的集中化采集、清洗和挖掘，結(jié)合更多的運維場景提升數(shù)據(jù)提煉能力、發(fā)揮數(shù)據(jù)價值將是智能運維平臺不可或缺的重要功能。其中的3大要素包括數(shù)據(jù)、算法和平臺。對于數(shù)據(jù)，大量且種類繁多的IT基礎(chǔ)設(shè)施提供采集數(shù)據(jù)能力和存儲能力，用于處理歷史和實時產(chǎn)生的海量數(shù)據(jù)；對于算法，用于計算和分析，以產(chǎn)生IT運維場景所需要的結(jié)果；對于平臺，運維平臺是智能運維的基石，既是數(shù)據(jù)的來源之一，也是算法落地的依托。

運維大數(shù)據(jù)處理框架如圖1所示。

1 運維大數(shù)據(jù)

1.1 運維數(shù)據(jù)采集

IT系統(tǒng)數(shù)據(jù)的來源極其廣泛，由于歷史原因，電網(wǎng)企業(yè)中還存在大量的IOE存量系統(tǒng)在數(shù)據(jù)中心運行；同時隨著電網(wǎng)數(shù)字化轉(zhuǎn)型加速，信息化建設(shè)如火如荼，大量新上的系統(tǒng)更多采用x86架構(gòu)，運行在Linux平臺乃至docker中。大量的異構(gòu)軟硬件既有傳統(tǒng)的穩(wěn)態(tài)業(yè)務(wù)也有新的敏態(tài)業(yè)務(wù)，技術(shù)體系不一，產(chǎn)生的運維數(shù)據(jù)也具備不同的類型和格式，需要不同的采集和解讀方式。隨著時間積累，運維數(shù)據(jù)量呈現(xiàn)爆發(fā)性增長趨勢。要發(fā)掘這些數(shù)據(jù)的價值，需要與時俱進(jìn)采用各種新技術(shù)手段，從各個數(shù)據(jù)源及時收集數(shù)據(jù)，統(tǒng)一匯聚發(fā)送到數(shù)據(jù)中間件進(jìn)行加工處理。數(shù)據(jù)采集負(fù)責(zé)將智能運維所需要的各類數(shù)據(jù)接入至智能運維平臺，一般包括但不限于日志數(shù)據(jù)、性能指標(biāo)數(shù)據(jù)、網(wǎng)絡(luò)抓包數(shù)據(jù)、用戶行為數(shù)據(jù)、告警數(shù)據(jù)、配置管理數(shù)據(jù)以及運維流程類數(shù)據(jù)等。

1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)質(zhì)量對數(shù)據(jù)價值具有非常直接的影響。如何確保數(shù)據(jù)準(zhǔn)確性和完整、及時、可靠地進(jìn)行采集處理是關(guān)鍵。常見的IT軟硬件系統(tǒng)產(chǎn)生的運維數(shù)據(jù)通常具有多個數(shù)據(jù)源。由于信息化系統(tǒng)不一定具備統(tǒng)一的應(yīng)用規(guī)范、日志規(guī)范，信息系統(tǒng)數(shù)據(jù)源容易受到噪聲數(shù)據(jù)、數(shù)據(jù)值缺失與數(shù)據(jù)沖突等負(fù)面影響。

通過引入數(shù)據(jù)預(yù)處理可以有效提升數(shù)據(jù)質(zhì)量，并提升后繼數(shù)據(jù)分析和可視化的效果。數(shù)據(jù)清理技術(shù)包括數(shù)據(jù)一致性檢測技術(shù)、數(shù)據(jù)過濾技術(shù)、數(shù)據(jù)修正技術(shù)以及數(shù)據(jù)噪聲平滑技術(shù)等。而數(shù)據(jù)歸約技術(shù)可以在確保挖掘結(jié)果準(zhǔn)確性的前提下，降低數(shù)據(jù)集規(guī)模。經(jīng)過數(shù)據(jù)轉(zhuǎn)換處理后，數(shù)據(jù)被變換或統(tǒng)一，不僅簡化處理與分析過程，提升時效性，也使得分析挖掘的算法、模式更容易被理解。數(shù)據(jù)轉(zhuǎn)換處理技術(shù)包括基于規(guī)則或元數(shù)據(jù)的轉(zhuǎn)換技術(shù)、基于模型和學(xué)習(xí)的轉(zhuǎn)換技術(shù)等。數(shù)據(jù)處理流程如圖2所示。

1.3 運維數(shù)據(jù)存儲

目前電網(wǎng)企業(yè)中主要數(shù)據(jù)存儲介質(zhì)類型包括內(nèi)存和外存（磁盤、磁帶、光盤等）等。根據(jù)運維數(shù)據(jù)類型和消費場景，可以選擇不同的數(shù)據(jù)存儲方式。主要數(shù)據(jù)組織管理方式包括傳統(tǒng)的塊級存儲方式、NAS級文件存儲方式、結(jié)構(gòu)化數(shù)據(jù)庫組織等。大數(shù)據(jù)特征和應(yīng)用特點恰好和現(xiàn)實IT環(huán)境中的不同的存儲介質(zhì)和組織管理形式映射。

傳統(tǒng)的獨占式存儲只能向上擴展，很容易達(dá)到性能和容量的天花板。在這個大數(shù)據(jù)和信息爆炸時代，分布式存儲已經(jīng)成為大數(shù)據(jù)存儲的主流技術(shù)，其性能與成本呈線性增長關(guān)系；各個節(jié)點相互冗余，可以物理分布在不同的數(shù)據(jù)中心，對外提供統(tǒng)一的存儲能力，借助IP網(wǎng)絡(luò)完成數(shù)據(jù)通信和數(shù)據(jù)傳輸。通過采用通用的標(biāo)準(zhǔn)化硬件，降低了單位容量成本，有效緩解數(shù)據(jù)的存儲的容量和性能挑戰(zhàn)，降低管理難度。相對于傳統(tǒng)的SAN存儲和NAS存儲，分布式存儲具有經(jīng)濟、高效、高可用等特點，快速取代了傳統(tǒng)IOE體系的存儲。

文檔存儲以封包KV鍵值對的方式進(jìn)行存儲，是NoSQL存儲的一種方式，相對于傳統(tǒng)關(guān)系模型無需強制架構(gòu)，支持嵌套，更加關(guān)注文檔內(nèi)部的結(jié)構(gòu)，直接支持二級index高效查詢。文檔存儲支持對結(jié)構(gòu)化數(shù)據(jù)的訪問。應(yīng)用開發(fā)時做好檢索封包等約定，或根據(jù)數(shù)據(jù)特點劃分不同的文檔集合。KV存儲磁盤讀寫次數(shù)相對較少，比起傳統(tǒng)的SQL數(shù)據(jù)庫讀寫性能更加出色，不涉及太多數(shù)據(jù)關(guān)系的業(yè)務(wù)數(shù)據(jù)。

列式存儲將數(shù)據(jù)按行排序，以流的方式在列中存儲所有的數(shù)據(jù)。列式數(shù)據(jù)庫非常適合大數(shù)據(jù)批量處理和即時查詢場景，可以有效減少數(shù)據(jù)量讀取I/O需求，降低系統(tǒng)負(fù)載提高處理效率。

圖形數(shù)據(jù)庫可用于描述真實世界的各種對象關(guān)系，如社交圖譜建模等。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫技術(shù)無法滿足現(xiàn)實世界IT系統(tǒng)中錯綜復(fù)雜的關(guān)聯(lián)關(guān)系超大量圖形數(shù)據(jù)的存儲、查詢等需求，而圖形數(shù)據(jù)庫正好滿足了圖形數(shù)據(jù)的查詢、遍歷、求最短路徑等需求。

運維大數(shù)據(jù)存儲方式如圖3所示。

1.4 運維數(shù)據(jù)分析和可視化

數(shù)據(jù)中心大量信息系統(tǒng)以及各類平臺、主機、服務(wù)器、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、數(shù)據(jù)庫在運行過程中會產(chǎn)生大量的運行日志、安全日志和行為日志。因此，需要建立相對完善的數(shù)據(jù)模型以便提升分析能力，包括相對成熟的存量數(shù)據(jù)信息的統(tǒng)計分析技術(shù)，以及未知數(shù)據(jù)信息挖掘和學(xué)習(xí)預(yù)測技術(shù)。后者發(fā)展非常迅速，在互聯(lián)網(wǎng)行業(yè)應(yīng)用廣泛，但針對電網(wǎng)企業(yè)數(shù)據(jù)中心運維場景還存在具體落地應(yīng)用的挑戰(zhàn)。

運維數(shù)據(jù)對于專業(yè)IT運維有規(guī)律可循，但對于業(yè)務(wù)人員如何簡潔、高效呈現(xiàn)數(shù)據(jù)信息的規(guī)律和價值則更為關(guān)鍵。數(shù)據(jù)信息的傳遞和溝通是數(shù)據(jù)可視化的重要目標(biāo)。借助計算機圖形圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)化為各類圖表在大屏幕呈現(xiàn)是傳統(tǒng)方式，借助最新的游戲技術(shù)甚至VR技術(shù)還可以實現(xiàn)人機數(shù)據(jù)交互處理。數(shù)據(jù)庫中的數(shù)據(jù)項不再是冷冰冰的單個圖元屬性或平面的數(shù)據(jù)圖像，可以多維度檢索、觀測、分析。

2 智能運維平臺

構(gòu)建面向業(yè)務(wù)價值的運維體系離不開優(yōu)秀的運維管理平臺。在智能運維落地的過程中，數(shù)據(jù)的來源、算法的實施與智能運維場景落地等都離不開智能運維平臺的有效支撐。智能運維管理平臺包括以下模塊：

2.1 配置和關(guān)系數(shù)據(jù)管理

配置管理模塊包含了數(shù)據(jù)中心中各類IT資源的關(guān)鍵屬性和物理、邏輯拓?fù)潢P(guān)聯(lián)關(guān)系，除了資產(chǎn)類應(yīng)用資源管理、基礎(chǔ)資源管理能力，還具備按需靈活拓展、建立與配置運維對象之間的關(guān)系的能力。

2.2 監(jiān)控數(shù)據(jù)采集

即運維監(jiān)控數(shù)據(jù)的獲取，對業(yè)務(wù)質(zhì)量的監(jiān)控和告警。在構(gòu)建立體化監(jiān)控的過程中，收集數(shù)據(jù)并非最終目標(biāo)，挖掘數(shù)據(jù)的價值才能體現(xiàn)運維價值所在，一般運維對業(yè)務(wù)質(zhì)量保障的定義為幾個維度（圖4）。

（1）監(jiān)控，主要關(guān)注覆蓋率、狀態(tài)反饋、指標(biāo)度量。監(jiān)控需要從底層硬件到上層軟件應(yīng)用全覆蓋。

（2）告警，關(guān)注告警及時性、準(zhǔn)確性、關(guān)聯(lián)性等。業(yè)務(wù)越來越復(fù)雜，每一個監(jiān)控點都會產(chǎn)生數(shù)據(jù)指標(biāo)、一個點狀態(tài)異?？赡茉斐珊Ａ恐貜?fù)告警。通過引入算法有效分級、追蹤、關(guān)聯(lián)、收斂、抑制，是智能告警的重要一環(huán)。結(jié)合CMDB中運維對象的關(guān)聯(lián)關(guān)系，以面向業(yè)務(wù)的視角，將低層次的指標(biāo)收斂為高層次的指標(biāo)，實現(xiàn)技術(shù)運營數(shù)據(jù)的價值挖掘。

（3）運營，根因分析、事件管理、統(tǒng)計報表與考核。通過事件管理機制保證RCA落地，通過報表和考核推動運維優(yōu)化提升。

2.3 運維作業(yè)實施

日常運維作業(yè)實施包括運維工具箱、任務(wù)調(diào)度等功能，批量作業(yè)實現(xiàn)減員增效的同時降低風(fēng)險。其中包括兩個亮點。

（1）故障自愈。根據(jù)告警事件、故障診斷的結(jié)果的輸出，按規(guī)則觸發(fā)標(biāo)準(zhǔn)變更自動化作業(yè)的過程，全程無須人工介入。

（2）基線偏離預(yù)警。不同于傳統(tǒng)的固化的閾值報警體系，通過對各個系統(tǒng)運行指標(biāo)采集自動采集，動態(tài)設(shè)定系統(tǒng)正常運行的“基準(zhǔn)線”，對于基線偏離主動預(yù)警、防患未然。

3 結(jié) 論

大數(shù)據(jù)和智能運維技術(shù)在IT運維領(lǐng)域的應(yīng)用將開啟IT運維的新時代，由數(shù)據(jù)驅(qū)動智慧運維，實現(xiàn)個性化服務(wù)，深度挖掘電網(wǎng)企業(yè)業(yè)務(wù)熱點及痛點，大大減少對個體依賴，逐步以機器和算法代替人海戰(zhàn)術(shù)，實現(xiàn)智能監(jiān)控、分析、判斷、決策和操作，從而實現(xiàn)成本管理、效率提升、質(zhì)量保障的精益化管理。