運維大數(shù)據(jù)和智能運維在電力行業(yè)的實踐

袁冠云

（廣東寶繹通信科技有限公司 ，廣東 廣州 510660）

0 引 言

信息技術的發(fā)展日新月異，大數(shù)據(jù)和智能運維技術在各大行業(yè)數(shù)字化轉型中不斷引發(fā)新的技術熱潮。IT運維領域涵蓋了各類不同的運維管理和監(jiān)控系統(tǒng)，在日常運行維護過程中不斷產(chǎn)生大量運維數(shù)據(jù)，包括日志、指標、關系以及傳感器信息等。這些數(shù)據(jù)格式不一，解讀方式方法各異，卻覆蓋了IT系統(tǒng)運行過程中的方方面面。對運維數(shù)據(jù)的集中化采集、清洗和挖掘，結合更多的運維場景提升數(shù)據(jù)提煉能力、發(fā)揮數(shù)據(jù)價值將是智能運維平臺不可或缺的重要功能。其中的3大要素包括數(shù)據(jù)、算法和平臺。對于數(shù)據(jù)，大量且種類繁多的IT基礎設施提供采集數(shù)據(jù)能力和存儲能力，用于處理歷史和實時產(chǎn)生的海量數(shù)據(jù)；對于算法，用于計算和分析，以產(chǎn)生IT運維場景所需要的結果；對于平臺，運維平臺是智能運維的基石，既是數(shù)據(jù)的來源之一，也是算法落地的依托。

運維大數(shù)據(jù)處理框架如圖1所示。

1 運維大數(shù)據(jù)

1.1 運維數(shù)據(jù)采集

IT系統(tǒng)數(shù)據(jù)的來源極其廣泛，由于歷史原因，電網(wǎng)企業(yè)中還存在大量的IOE存量系統(tǒng)在數(shù)據(jù)中心運行；同時隨著電網(wǎng)數(shù)字化轉型加速，信息化建設如火如荼，大量新上的系統(tǒng)更多采用x86架構，運行在Linux平臺乃至docker中。大量的異構軟硬件既有傳統(tǒng)的穩(wěn)態(tài)業(yè)務也有新的敏態(tài)業(yè)務，技術體系不一，產(chǎn)生的運維數(shù)據(jù)也具備不同的類型和格式，需要不同的采集和解讀方式。隨著時間積累，運維數(shù)據(jù)量呈現(xiàn)爆發(fā)性增長趨勢。要發(fā)掘這些數(shù)據(jù)的價值，需要與時俱進采用各種新技術手段，從各個數(shù)據(jù)源及時收集數(shù)據(jù)，統(tǒng)一匯聚發(fā)送到數(shù)據(jù)中間件進行加工處理。數(shù)據(jù)采集負責將智能運維所需要的各類數(shù)據(jù)接入至智能運維平臺，一般包括但不限于日志數(shù)據(jù)、性能指標數(shù)據(jù)、網(wǎng)絡抓包數(shù)據(jù)、用戶行為數(shù)據(jù)、告警數(shù)據(jù)、配置管理數(shù)據(jù)以及運維流程類數(shù)據(jù)等。

1.2 數(shù)據(jù)預處理

數(shù)據(jù)質(zhì)量對數(shù)據(jù)價值具有非常直接的影響。如何確保數(shù)據(jù)準確性和完整、及時、可靠地進行采集處理是關鍵。常見的IT軟硬件系統(tǒng)產(chǎn)生的運維數(shù)據(jù)通常具有多個數(shù)據(jù)源。由于信息化系統(tǒng)不一定具備統(tǒng)一的應用規(guī)范、日志規(guī)范，信息系統(tǒng)數(shù)據(jù)源容易受到噪聲數(shù)據(jù)、數(shù)據(jù)值缺失與數(shù)據(jù)沖突等負面影響。

通過引入數(shù)據(jù)預處理可以有效提升數(shù)據(jù)質(zhì)量，并提升后繼數(shù)據(jù)分析和可視化的效果。數(shù)據(jù)清理技術包括數(shù)據(jù)一致性檢測技術、數(shù)據(jù)過濾技術、數(shù)據(jù)修正技術以及數(shù)據(jù)噪聲平滑技術等。而數(shù)據(jù)歸約技術可以在確保挖掘結果準確性的前提下，降低數(shù)據(jù)集規(guī)模。經(jīng)過數(shù)據(jù)轉換處理后，數(shù)據(jù)被變換或統(tǒng)一，不僅簡化處理與分析過程，提升時效性，也使得分析挖掘的算法、模式更容易被理解。數(shù)據(jù)轉換處理技術包括基于規(guī)則或元數(shù)據(jù)的轉換技術、基于模型和學習的轉換技術等。數(shù)據(jù)處理流程如圖2所示。

1.3 運維數(shù)據(jù)存儲

目前電網(wǎng)企業(yè)中主要數(shù)據(jù)存儲介質(zhì)類型包括內(nèi)存和外存（磁盤、磁帶、光盤等）等。根據(jù)運維數(shù)據(jù)類型和消費場景，可以選擇不同的數(shù)據(jù)存儲方式。主要數(shù)據(jù)組織管理方式包括傳統(tǒng)的塊級存儲方式、NAS級文件存儲方式、結構化數(shù)據(jù)庫組織等。大數(shù)據(jù)特征和應用特點恰好和現(xiàn)實IT環(huán)境中的不同的存儲介質(zhì)和組織管理形式映射。

傳統(tǒng)的獨占式存儲只能向上擴展，很容易達到性能和容量的天花板。在這個大數(shù)據(jù)和信息爆炸時代，分布式存儲已經(jīng)成為大數(shù)據(jù)存儲的主流技術，其性能與成本呈線性增長關系；各個節(jié)點相互冗余，可以物理分布在不同的數(shù)據(jù)中心，對外提供統(tǒng)一的存儲能力，借助IP網(wǎng)絡完成數(shù)據(jù)通信和數(shù)據(jù)傳輸。通過采用通用的標準化硬件，降低了單位容量成本，有效緩解數(shù)據(jù)的存儲的容量和性能挑戰(zhàn)，降低管理難度。相對于傳統(tǒng)的SAN存儲和NAS存儲，分布式存儲具有經(jīng)濟、高效、高可用等特點，快速取代了傳統(tǒng)IOE體系的存儲。

文檔存儲以封包KV鍵值對的方式進行存儲，是NoSQL存儲的一種方式，相對于傳統(tǒng)關系模型無需強制架構，支持嵌套，更加關注文檔內(nèi)部的結構，直接支持二級index高效查詢。文檔存儲支持對結構化數(shù)據(jù)的訪問。應用開發(fā)時做好檢索封包等約定，或根據(jù)數(shù)據(jù)特點劃分不同的文檔集合。KV存儲磁盤讀寫次數(shù)相對較少，比起傳統(tǒng)的SQL數(shù)據(jù)庫讀寫性能更加出色，不涉及太多數(shù)據(jù)關系的業(yè)務數(shù)據(jù)。

列式存儲將數(shù)據(jù)按行排序，以流的方式在列中存儲所有的數(shù)據(jù)。列式數(shù)據(jù)庫非常適合大數(shù)據(jù)批量處理和即時查詢場景，可以有效減少數(shù)據(jù)量讀取I/O需求，降低系統(tǒng)負載提高處理效率。

圖形數(shù)據(jù)庫可用于描述真實世界的各種對象關系，如社交圖譜建模等。使用傳統(tǒng)關系數(shù)據(jù)庫技術無法滿足現(xiàn)實世界IT系統(tǒng)中錯綜復雜的關聯(lián)關系超大量圖形數(shù)據(jù)的存儲、查詢等需求，而圖形數(shù)據(jù)庫正好滿足了圖形數(shù)據(jù)的查詢、遍歷、求最短路徑等需求。

運維大數(shù)據(jù)存儲方式如圖3所示。

1.4 運維數(shù)據(jù)分析和可視化

數(shù)據(jù)中心大量信息系統(tǒng)以及各類平臺、主機、服務器、網(wǎng)絡設備、安全設備、數(shù)據(jù)庫在運行過程中會產(chǎn)生大量的運行日志、安全日志和行為日志。因此，需要建立相對完善的數(shù)據(jù)模型以便提升分析能力，包括相對成熟的存量數(shù)據(jù)信息的統(tǒng)計分析技術，以及未知數(shù)據(jù)信息挖掘和學習預測技術。后者發(fā)展非常迅速，在互聯(lián)網(wǎng)行業(yè)應用廣泛，但針對電網(wǎng)企業(yè)數(shù)據(jù)中心運維場景還存在具體落地應用的挑戰(zhàn)。

運維數(shù)據(jù)對于專業(yè)IT運維有規(guī)律可循，但對于業(yè)務人員如何簡潔、高效呈現(xiàn)數(shù)據(jù)信息的規(guī)律和價值則更為關鍵。數(shù)據(jù)信息的傳遞和溝通是數(shù)據(jù)可視化的重要目標。借助計算機圖形圖像處理技術，將數(shù)據(jù)轉化為各類圖表在大屏幕呈現(xiàn)是傳統(tǒng)方式，借助最新的游戲技術甚至VR技術還可以實現(xiàn)人機數(shù)據(jù)交互處理。數(shù)據(jù)庫中的數(shù)據(jù)項不再是冷冰冰的單個圖元屬性或平面的數(shù)據(jù)圖像，可以多維度檢索、觀測、分析。

2 智能運維平臺

構建面向業(yè)務價值的運維體系離不開優(yōu)秀的運維管理平臺。在智能運維落地的過程中，數(shù)據(jù)的來源、算法的實施與智能運維場景落地等都離不開智能運維平臺的有效支撐。智能運維管理平臺包括以下模塊：

2.1 配置和關系數(shù)據(jù)管理

配置管理模塊包含了數(shù)據(jù)中心中各類IT資源的關鍵屬性和物理、邏輯拓撲關聯(lián)關系，除了資產(chǎn)類應用資源管理、基礎資源管理能力，還具備按需靈活拓展、建立與配置運維對象之間的關系的能力。

2.2 監(jiān)控數(shù)據(jù)采集

即運維監(jiān)控數(shù)據(jù)的獲取，對業(yè)務質(zhì)量的監(jiān)控和告警。在構建立體化監(jiān)控的過程中，收集數(shù)據(jù)并非最終目標，挖掘數(shù)據(jù)的價值才能體現(xiàn)運維價值所在，一般運維對業(yè)務質(zhì)量保障的定義為幾個維度（圖4）。

（1）監(jiān)控，主要關注覆蓋率、狀態(tài)反饋、指標度量。監(jiān)控需要從底層硬件到上層軟件應用全覆蓋。

（2）告警，關注告警及時性、準確性、關聯(lián)性等。業(yè)務越來越復雜，每一個監(jiān)控點都會產(chǎn)生數(shù)據(jù)指標、一個點狀態(tài)異常可能造成海量重復告警。通過引入算法有效分級、追蹤、關聯(lián)、收斂、抑制，是智能告警的重要一環(huán)。結合CMDB中運維對象的關聯(lián)關系，以面向業(yè)務的視角，將低層次的指標收斂為高層次的指標，實現(xiàn)技術運營數(shù)據(jù)的價值挖掘。

（3）運營，根因分析、事件管理、統(tǒng)計報表與考核。通過事件管理機制保證RCA落地，通過報表和考核推動運維優(yōu)化提升。

2.3 運維作業(yè)實施

日常運維作業(yè)實施包括運維工具箱、任務調(diào)度等功能，批量作業(yè)實現(xiàn)減員增效的同時降低風險。其中包括兩個亮點。

（1）故障自愈。根據(jù)告警事件、故障診斷的結果的輸出，按規(guī)則觸發(fā)標準變更自動化作業(yè)的過程，全程無須人工介入。

（2）基線偏離預警。不同于傳統(tǒng)的固化的閾值報警體系，通過對各個系統(tǒng)運行指標采集自動采集，動態(tài)設定系統(tǒng)正常運行的“基準線”，對于基線偏離主動預警、防患未然。

3 結 論

大數(shù)據(jù)和智能運維技術在IT運維領域的應用將開啟IT運維的新時代，由數(shù)據(jù)驅動智慧運維，實現(xiàn)個性化服務，深度挖掘電網(wǎng)企業(yè)業(yè)務熱點及痛點，大大減少對個體依賴，逐步以機器和算法代替人海戰(zhàn)術，實現(xiàn)智能監(jiān)控、分析、判斷、決策和操作，從而實現(xiàn)成本管理、效率提升、質(zhì)量保障的精益化管理。