信息化運維系統的圖模型存儲①

周振煜,陳望旭,韓 笑,林加國

(南京南瑞信息通信科技有限公司,南京 210003)

1 引言

隨著電網企業生產經營服務對信息和信息系統的需求不斷增加,電網企業IT 服務和環境的復雜性也在不斷增加,特別在近些年電網企業內部依據不同業務或服務需要,構建起的云計算環境、大數據平臺、物聯網應用、移動端服務等各類復雜的IT 基礎設施和業務服務系統給電網企業信息運維帶來巨大的挑戰[1].

早期的電網企業信息化運維活動中,需要處理的是有限且較為穩定的運維對象和業務流程,如主機、網絡設備、中間件、數據庫、運維人員、業務審批流程、設備檢修流程等,但在當前信息化運維活動中電網企業面臨的是不斷變化的運維對象和不斷調整的業務流程,如虛擬機、容器服務、POD 節點、臨檢流程、設備申請流程等.信息化運維系統作為運維工作的重要平臺,在日益復雜的運維活動中,被要求除了要監管上述或穩定或不斷變化的運維對象外,還需要對不斷增加的系統日志數據、系統服務間調用情況等諸多海量非結構化、相互關聯的數據實現采集和監管.

面對復雜的運維對象和數據,電網企業當前基于關系型數據庫的信息化運維系統越來越難以滿足監控要求.容器服務、POD 節點等運維對象,在云環境中不斷生成和刪除,系統日志數據、服務調用關系鏈,在系統運行中不斷增加和調整,關系型數據庫在應對大量動態、非結構化數據時顯得捉襟見肘[2].

綜合上述基本情況,本文基于電網企業當前信息化環境的實際運維對象特點及運維要求提出一種基于圖模型的運維數據存儲設計,以此優化電網企業信息化運維系統對動態、非結構化運維數據的處理能力.

2 運維現狀

電網企業面對信息化環境的變化針對諸多運維需求和角度進行了探索實踐,實踐中運維系統的各類定制化拓展豐富了運維對象,延伸了運維內容,優化了運維流程.歸納來講,運維系統的拓展落腳在運維對象上,即分為對傳統運維對象的管理優化,對云環境等新運維對象的監控探索,以及結合兩類運維對象的綜合性運維管理實現.

2.1 數據分類

傳統運維對象主要涉及設備硬件、軟件、虛擬資源、基礎支撐資源.

其中設備硬件包括如PC 服務器、刀片機、小型機等主機設備,磁盤陣列、磁帶庫、光盤庫等存儲設備,路由器、交換機、負載均衡器等網絡設備,防火墻、防病毒網關、入侵監測等安全設備,手持終端、平板電腦、云終端等終端設備,UPS、KVM、打印機等外部輔助設備,內存條、電源模塊、網卡等備品備件.

軟件包括操作系統、數據庫、中間件以及ERP系統、財務管理系統、人力資源系統等各類業務系統.

虛擬資源為由VMware 等傳統虛擬化工具生成的虛擬服務器、資源池、虛擬桌面等對象.

基礎支撐包括建筑場地、IP、賬號權限等其他不在軟、硬件和虛擬化對象中的內容.

傳統運維對象在運維過程中涉及了資產、采購、服務、維護、運行、流程管理、關聯關系等內容.

資產內容包含產權信息、ERP 信息等,采購內容涉及采購時間、供應商等信息,服務內容涉及售后服務時間、服務商、序列號等信息,維護內容涉及領用信息及檢修信息,運行內容涉及內存大小、CPU 數量等,流程管理內容涉及流程狀態、審批內容等,關聯關系涉及關聯、依賴、連接、備份、包含等.

云環境等新運維對象主要涉及基礎云平臺、商業云平臺、虛擬資源以及其他在運維實踐中產生的對象內容等.

其中基礎云平臺包括OpenStack、Kubernetes,商業云平臺包括阿里云、華為云、京東物聯平臺等,虛擬資源涉及容器、POD、容器控制器、虛擬交換機、虛擬化存儲、虛擬路由器等由云平臺產生的虛擬對象,其他新的運維對象還涉及服務調用鏈路、拓撲視圖等.

2.2 存儲方案

在電網企業現有的運維實踐中,針對傳統運維對象的存儲依舊主要采用關系型數據庫,而對云環境等新運維對象則嘗試采用了文檔數據庫、列式數據庫、圖數據庫等多種數據庫.

傳統運維對象的生命周期長,對象屬性變化頻率低,運維對象間關系穩定.以關系型數據庫存儲相應的對象時,對象模型以表結構的形式存在,模型的屬性即為表的列,模型及其屬性的變更映射為表結構的變更,模型間的關系通過表的關聯關系表達,既有強約束的外鍵,也存在弱約束的引用字段.

云環境等新運維對象生命周期短,運維對象多數隨著環境訪問、運行狀態自動觸發生成或刪除;對象屬性及運維對象間的關系隨著運行不斷變化.以非關系型數據庫存儲相應的對象時,主要依據數據特點選用不同的數據庫,如文檔數據庫多用于存儲容器、POD等頻繁生成刪除的對象,利用文檔數據庫高讀寫性能,可以有效應對短生命周期對象的采集存儲及監控需要;列式數據庫的存儲中將模型結構存于代碼邏輯之中,數據庫只負責存儲,將所有模型扁平化,一條數據即為一個實例,模型屬性變更便捷;圖數據庫實現模型及資源間的關系存儲,高性能的圖形數據讀寫能力對業務關系的管理提供有力支撐[3].

2.3 運維要求

由前述分析可見電網企業當前信息化環境的實際運維對象具備如下特點:

(1)傳統運維對象和云環境等新運維對象共存;

(2)對象屬性同時具備運維管理及資產維護的雙重要求;

(3)對象間存在多重繼承;

(4)對象間具有可自定義的關聯關系.

盡管針對某些特定運維需要,在具體的運維實踐中對特定存儲有了較好的設計及應用,但電網企業在整合上述實踐過程中也提出如下運維要求:

(1)保持對已有運維工作的支持;

(2)能快速且自動化反應云環境及其之上運行系統的運行時狀態;

(3)提供可自定義的各類拓撲視圖展示.

3 圖結構模型設計

基于上述運維對象特點及運維要求,本文對電網企業信息化運維系統涉及的對象存儲進行重新梳理設計,提出一種基于圖模型的運維數據存儲設計.

3.1 設計條件

首先,根據對象模型的繼承特點及建模規則:

(1)模型的繼承關系是單向性的,方向為由子孫模型指向父祖模型;

(2)模型在創建時需要確定繼承關系;

(3)模型只能繼承于已經存在的模型.

可以推出,模型無法通過多次繼承關系實現對自身的繼承,即模型間的繼承關系組成有向無環圖.

其次,根據對象模型的關聯特點:

(1)模型的關聯關系是單向性的,方向為由某一模型指向另一模型;

(2)依賴關系存在的模型必然直接或間接關聯一個不依賴關系存在的獨立模型;

(3)兩個依賴關系存在的模型不相互依賴.

還可以推出,模型間關聯關系可以形成環路,但環路中的關系必存在可空.

即模型設計應基于下述必要而可行的條件:

(1)模型間繼承關系組成一張有向無環圖;

(2)模型間關聯關系如果形成環路,則必然有一條關聯關系為可空關系.

3.2 存儲結構設計

可以直觀地看出,上述條件下的模型最適合的存儲形式為圖形數據,即以模型為節點,繼承、關聯關系為邊,模型的增刪改查業務邏輯轉化為對圖數據節點及邊的相關操作.

此外根據資源實例同模型的對應關系,亦可輕易地將資源實例納入圖模型中,即以資源實例為節點,將模型同資源實例的關系、資源實例間的關系作為邊.

綜上設計出基于圖模型的運維數據存儲結構,見圖1.

圖1 運維數據存儲結構

在設計中,模型和實例實現為圖結構的節點,模型間關系、模型和實例關系、實例間關系,實現為圖結構的邊.由于模型屬性管理的靈活性需要,模型屬性作為節點實現,模型和模型屬性間的關系作為邊.但并未相應地將資源屬性作為節點,而是仍然作為資源實例節點的屬性處理.這樣的設計在一定程度上破壞了模型和資源實例的存儲結構一致性,使得兩者在管理操作的實現上需要區別處理,即模型和屬性間以關系進行操作,實例和屬性間以節點屬性進行操作,但是在資源實例查詢上簡化了操作提升了性能.

4 存儲管理實現及實踐

基于上述圖結構信息化運維模型,本文對該模型的存儲管理進行了實現,同時結合具體的信息化運維管理平臺對該模型及其存儲管理功能進行實際驗證.

4.1 數據庫選型

結合當前電網公司在信息化運維領域的探索實踐,選取其中運用較多的關系型數據庫、列式數據庫、文檔數據庫、圖數據庫4 類數據庫作為備選數據庫.

關系型數據庫的存儲中,如前現狀分析,模型的變更將引起數據庫結構的變動,且無法較好地處理云資源等新運維對象快速存取的需要.此外由于本文設計的模型需要實現大量復雜關系運算,通過表結構實現的關聯關系表達會在多表聯查等操作中不可避免地存在性能低下、關系處理代碼邏輯復雜等問題,因此不適合作為本文設計模型的底層存儲數據庫.

列式數據庫在存儲中可將所有模型扁平化,屬性表現為列族的劃分,列族中的列來自相應的父類模型.由于數據庫只負責存儲,數據無結構化,模型與實例的變更非常方便,但更新實例尤其是按條件批量更新難以實現,查詢受限于設計的key,難以實現靈活的多維度查詢.此外模型結構的處理無法基于數據庫本身實現,需要通過代碼邏輯進行處理,模型關系需另行存儲,關系處理會比較復雜,亦不適合作為本文設計模型的底層存儲數據庫.

文檔數據庫通過將模型文檔化,能夠支持對模型及其實例高性能的變更操作.模式自由的特性也意味著無需預定義模型結構,在系統生命周期中,模型結構的變化也不影響實例數據的存儲.通過索引和動態查詢能力的支撐,文檔數據庫可以滿足單模型查詢的絕大部分需求,但無法支持跨模型級聯查詢等復雜關系查詢.故若以文檔數據庫為存儲數據庫,則需要基于該數據庫實現額外的關系處理功能.

圖數據庫存儲和處理的數據對象是節點及其之間的關系,該數據對象同本文設計的模型有較高的契合度.在圖數據庫存儲中,模型是節點,屬性也是節點,無需依賴代碼邏輯或者其他外部因素,模型及屬性的變更簡單且不產生數據結構的變化.此外模型間關系、模型與屬性的關聯、實例與模型關聯、實例間關系,均轉化為節點之間的關系,通過統一的圖查詢方法實現不同的查詢需要,能滿足高效的復雜多級關系查詢.

綜上分析,文檔數據庫和圖數據庫在模型存儲及管理上均有良好支撐,滿足動態的模型調整且對數據結構影響較小,但在關系處理上圖數據庫相較文檔數據庫更具優勢,故本文采用圖數據庫作為底層存儲數據庫,對上述基于圖模型的運維數據存儲設計進行實現.在開源圖數據庫中,Neo4j 相較DGraph 等其他圖數據庫在社交網絡、智能推薦等領域得到了廣泛應用[4],支持文檔豐富、便于生產改造.通過Cypher 語句,Neo4j 提供了對節點、關系及其屬性等半結構化數據的創建和維護,高性能的檢索、遍歷圖形化數據的能力支撐了基于圖形數據的業務應用實現.

4.2 總體結構

盡管Neo4j 可以有效地管理圖形化后的運維對象,但通過Cypher 語句操作的數據組織形式同結構化數據存在較大差異[5].此外存儲結構不代表業務結構,業務結構可以在業務層進行重構.為了減少對上層業務的影響,降低開發、部署的兼容改造工作,故需要在Neo4j 存儲之上實現模型適配接口.同時為提供個性化的業務需求支持,在模型適配接口之上提供內容轉換和查詢引擎模塊.據此基于圖模型的運維數據存儲功能總體結構如圖2.

圖2 存儲功能總體結構

模型適配接口模塊實現了資源模型、模型屬性、模型繼承和關聯關系、資源實例、資源實例間關系、實例所屬模型等數據的增加、刪除、修改、查詢的功能,以REST 接口對外提供服務.服務基于Cypher 語句對Neo4j 數據庫進行操作,對應了資源模型、模型屬性、資源實例3 類節點和繼承、關聯、具有屬性、生成實例4 類邊的增加、刪除、修改、查詢操作.

內容轉換模塊實現了Neo4j 數據庫中存儲結構同業務結構間的轉換功能,即將從Neo4j 數據庫中查詢到的,如模型繼承關系、屬性分組標簽、機房拓撲結構、地域組織關系等信息,轉換為模型樹、屬性分組、機房管理、地域管理等業務可視結構,部分高頻轉換以數據詞典形式固化,提升了效率.

查詢引擎模塊實現定制查詢及模糊查詢等優化查詢功能.通過對常用的復雜查詢需要進行定制,提升查詢效率的同時減少了業務端的開發工作.同時基于ElasticSearch 搜索引擎,實現模型、資源節點的快速定位,實現全文模糊查詢能力.

4.3 集群服務

由于Neo4j 社區版不提供集群服務功能[6],為保證Neo4j 在生產環境中的可靠性和穩定性,需要實現Neo4j的集群能力.集群的方案首推多讀多寫形式,由于Neo4j 社區版是適用于單實例部署的版本,無法較好地處理數據分片,考慮高性能分布式圖數據處理也是業界難點,亦非本文研究重點內容[7],因此使用Neo4j社區版構建數據庫集群服務采用了一寫多讀形式,其功能結構如圖3.

圖3 數據庫集群服務

通過多組Neo4j 社區版單實例組成集群節點,選取某一節點作為寫入節點,其他節點作為讀取節點.為保障讀取節點同寫入節點的數據一致性,節點之間采用文件實時同步工具rsync 實現數據同步.模型適配接口模塊對Neo4j 集群的訪問無需關注具體的Neo4j 單實例節點,各讀寫節點前端通過負載(Nginx 或F5)和熔斷(SpringCloud-Hystrix)模塊實現訪問控制,在保障讀寫節點分離的同時,實現節點之間的主備切換及讀寫節點的功能轉換,提高了集群服務整體可靠性.

4.4 實踐驗證

為驗證本文方案,在電網企業某省公司信息化運維管理平臺測試環境中進行部署和評估.

驗證環境搭建在6 臺32 核64 GB 內存的虛擬機上,其中3 臺搭建Kubernetes 容器云平臺用于部署存儲管理,另外3 臺搭建Neo4j 數據庫集群服務.

存儲管理的模型適配接口、內容轉換模塊、查詢引擎模塊基于Spring Cloud 實現,均采用容器化部署,內容轉換模塊、查詢引擎模塊的容器副本數均設置為2,模型適配接口的容器副本數設置為4.

上層業務應用選取該省公司信息化運維管理平臺的資源配置、采集監控和資源管理3 個模塊,并根據接口需要,在存儲管理業務層定制開發相應接口.測試環境中修改信息化運維管理平臺對應模塊的接口配置,指向存儲管理相關接口.同時根據業務需要,對原運維管理平臺中硬件資源、軟件實例、云平臺及虛擬化、網絡資源等四大類65 個模型及其模型屬性等信息進行初始化,同時導入對應模型的資源數據.經過運維人員日常使用,本文方案對運維管理平臺功能支撐完整,模型管理靈活度高,可根據實際運維需要由運維人員進行模型定制處理.

方案性能測試評估從前端應用頁面調用接口及后端采集數據批量入庫調用接口2 方面進行驗證.接口調用情況通過信息化運維管理平臺接口自監控模塊進行記錄統計,前端調用情況如圖4,后端調用情況如圖5.

圖4 頁面接口調用統計

圖5 外部系統調用接口統計

通過反復壓力測試,運行中的存儲管理功能穩定,Neo4j 數據庫集群服務穩定,數據庫集群服務單節點寫入及數據讀取性能滿足當前數據處理需要.新運維模型在數據處理及展示中相較關系模型更為直觀,在資源監控模塊的監控拓撲圖的實時生成和變更操作中更具便利性,模型設計及應用符合預期目標.

5 結論與展望

本文分析了電網企業信息化運維的數據現狀和運維要求,在電網企業大量運維探索實踐的基礎上,設計了基于圖模型的運維數據存儲方案,給出了模型繼承特點和模型關聯特點下的圖形管理依據以及模型、屬性和模型實例等全部運維對象的基礎數據存儲結構等創新點,闡述了該方案的存儲管理設計及Neo4j 數據庫集群設計.最后,以電網企業某省公司信息化運維管理平臺為現實應用場景,給出了基于圖模型的運維數據存儲方案的應用驗證評估,生產試運行實踐表明,該存儲方案能夠納管所有運維對象、模型管理自由程度高、新運維對象支撐效果好,關系查詢便捷,能夠為電網企業的信息化運維管理平臺提供良好的基礎數據管理支撐.后續將針對自動化運維、統計分析、告警管理等運維數據進一步拓展并優化該解決方案.