電力企業中臺云化構建及大數據分析研究

趙增濤,羅 勇,梁成輝

（1.南方電網調峰調頻發電有限公司，廣東省廣州市 510630；2. 天生橋二級水力發電有限公司，貴州省興義市 562400；3.威海欣智信息科技有限公司，山東省威海市 264209）

0 引言

智能電網、能源互聯網和泛在電力物聯網的提出和持續發展[1-3]，推動著電力企業數字化轉型走向縱深。組織機構、系統、設備、部件等各個維度的所有與電力系統運轉相關的現實世界對象（Real World Object，RWO）以及管理、協調這些RWO的對象，都經由數字化相互聯系、彼此協作，形成企業寶貴的數據資源，支撐著電力系統能量流和信息流的不斷優化[4]，提高電力系統安全性、穩定性、經濟性和智能化水平。

電力企業為提升數據資源價值和管理有效性的工作一直在進行，并隨著信息和網絡技術的發展和數據資源總量的增長，數據資源利用和數據及服務共享適應性地采用了各種可用的主流技術。從早期電力系統自動化采用的大主機模式，到基于分布式網絡，再到建設調控云[5]、采用分布式計算和大數據技術建立企業級海量數據平臺、大數據平臺[6-8]，以及建立基于統一公共信息模型的對象化在線監測或配用電網全域數據平臺等[9-11]，一定程度上消除了業務系統數據的“煙囪”效應[12]，促進了信息共享。

電力企業數據資源規模增長的趨勢是越來越快，電力企業通過建設大數據平臺、海量數據平臺等手段，一定程度上仍然會受限于特定的平臺構建技術，導致技術升級的阻力變大。基于特定的平臺選型，維護工作涉及平臺虛擬資源調度、分布式計算管理、數據流式處理、消息遞送等等全棧技術，其難度、復雜度以及帶來的工作量都非常巨大。

企業中臺是融合多條線業務系統數據的信息共享和服務發布平臺，利用已有業務的數據、通過共享服務體系推動業務創新[13-14]。中臺內的數據是相對穩定的、非快速變化，是企業運轉過程中沉淀下來的極具價值的資產型數據。基于云計算平臺構建電力企業中臺能夠避免引入過多基礎技術方面的問題，從而使團隊可集中力量解決數據資源管理、共享服務方面的問題。在提高新技術迭代更新水平、計算資源利用效率、系統安全性等方面，企業中臺具有極大的優勢。

本文研究基于云計算環境構建電力企業中臺。分析阿里云可用的云服務，結合中臺數據管理和服務體系構建的需求，在企業中臺內實現元數據管理、數據資源管理、共享服務發布等關鍵功能。利用阿里云大數據計算提供的數據集成、大數據計算服務，完成中臺管理業務系統數據的綜合分析統計。大數據分析形成的結果數據作為新的數據資源補充到中臺，作為新型業務的基礎數據。云化構建電力企業中臺，實質性提升數據資源的整合和共享能力，為業務快速響應變化提供助力。

1 云計算服務對中臺的支持能力分析

云計算利用計算機集群構成統一協調的計算資源，為用戶提供按需、便捷訪問共享資源池（計算設施、存儲設備、應用程序等）的服務[15]。云計算平臺的核心服務層提供的服務包括基礎設施即服務（IaaS, infrastructure as a service）、平 臺 即 服 務（PaaS, platform as a service）、軟件 即 服 務（SaaS, software as a service）[16]。其 中，IaaS提供實體或虛擬的計算、存儲和網絡服務，PaaS提供應用程序部署與管理服務，SaaS提供應用程序，企業可以租用進行信息處理。

出于高安全性的考慮，電力企業中臺構建所基于的云計算服務通常基于企業私有云。采用公有云技術的私有云提供的服務具有同樣的服務能力。中臺需要部署業務系統、存儲業務數據、規范化合并業務數據、利用云平臺的大數據分析服務分析數據等等，需要使用從IaaS、PaaS到SaaS的各層服務。

阿里云作為主流的云計算產品[17]，提供了豐富的產品可供選擇以構建電力企業中臺。表1列出來主要使用的服務或產品。

表1 構建中臺主要使用的阿里云服務或產品Table 1 Major products or services needed

除表中列出的模塊，與數據處理及共享不直接相關但必需的服務或產品還包括訪問控制、負載均衡等。

基于云計算環境構建中臺，可隨時按需要加入功能組件，如圖像、語音識別等人工智能組件、物聯網設備接入和身份認證組件等。中臺的能力擴展以軟件升級和組件添加的方式進行，具有良好的連貫性，能有效避免重復建設造成的資源浪費。

2 電力企業中臺構建

電力企業構建中臺實現信息系統向共享式架構轉換，通過共享服務支撐業務。服務共享的內容是業務運轉沉淀的數據，以及基于沉淀的數據再加工獲得的能滋養業務創新的衍生數據。因此，中臺管理的核心內容是數據和服務，以及抽象描述數據和服務及處理的元數據（見圖1）。

圖1 中臺服務共享的核心內容Figure 1 Main content of service sharing in middle platform

根據云計算環境提供的服務，元數據管理使用了RDS和ODS服務；數據整合管理使用了RDS、ODS、ECS、MaxCompute、DataWorks；服 務 共 享 使 用 了ECS、EDAS；在數據視圖構建方面使用了QuickBI等。

2.1 元數據管理

元數據是數據的“數據”，對數據及信息資源進行描述、解釋、定位，并使其更方便檢索、使用或管理的數據[18]。元數據有指示存儲位置、資源尋找和文件記錄等功能，是數據共享和交換的基礎與前提。

電力企業中臺作為大型系統，中臺內各類資源統籌管理需要強化的元數據管理，通過元數據作為頂層抽象控制層，對中臺內的數據和服務進行全方位管控。

中臺是數據資源和服務共享中心，原則上不涉及具體業務功能的直接支持，因此中臺元數據強化技術元數據的管理（不強調業務和管理元數據）。元數據主要內容包括：

（1）基礎數據模式。即業務數據導入、整合到中臺后形成的基礎數據的模式信息。中臺管理的數據資源的形式是多樣的，有按關系或對象模式管理的結構化數據，也有大量非結構化數據。

（2）數據服務描述，包括中臺基礎數據服務和分析結果數據服務描述兩部分。中臺基礎數據服務基于RDB、Web服務以及電力行業所采用的IEC 61970、IEC 62541等標準規定的標準服務（對象數據基于OPC UA統一地址空間管理并支持系列訪問接口）[19-21]，分析結果數據服務主要采用微服務形式[22-23]。分析結果數據通過提煉、回補成為基礎數據一部分之后，可通過平臺基礎數據服務訪問。

（3）數據分析邏輯、任務描述。數據分析邏輯通過配置建立，由大數據分析引擎或基于ECS自定義的數據處理任務執行相應的分析任務。

（4）分析結果模式。以關系或對象模式描述的數據分析結果元數據。這部分模式在需求穩定后，與數據管理相同步，融合到（1）中。

（5）視圖、應用描述。視圖和應用使用中臺的數據內容、方式的描述。

元數據的獲取采用自動和手動獲取兩種方式。自動獲取是利用元數據獲取接口（如數據庫訪問庫表結構的接口）或導入標準化文件格式（如IEC 61970 501）存儲的信息模型[24]。通過人機界面錄入無法自動獲取的元數據。

元數據采用中臺規定的格式存儲，通過界面查看、修改。應用需要使用元數據時，可通過元數據訪問服務讀取。除可整體管控平臺內數據、服務內容外，元數據還被廣泛用于數據質量分析、服務授權等方面。

2.2 業務數據整合管理

中臺的數據源自安全生產管理、發電控制、電網調度、電力營銷等各業務系統。根據業務系統提供數據的方式，將源端數據整合到中臺中管理。

關系型業務數據通過數據抽取轉換導入中臺的RDS。對象型數據依據企業公共信息模型進行規范化，包括對對象包含路徑、對象關聯等進行規范。這些業務數據是原始數據，通過RDS和對象數據訪問服務發布。

進入到中臺RDS的關系型業務數據，在企業公共信息模型覆蓋范圍內的，編寫運行于ECS上的數據規范化匯集任務進行對象化轉換。對象化轉換后的業務系統數據與直接引入的對象型數據作為待處理的整體，按照層次、關聯、分類多級匹配的方式，實現多源系統的數據的匹配、關聯，完成一體化數據的規范化整合，消除業務系統數據間的關聯障礙。

中臺內已有數據通過服務共享提供給外部應用使用的同時，為提升數據質量和數據價值，在平臺內通過大數據引擎或自行開發的數據分析軟件進行綜合分析應用。分析結果構成中臺數據的組成部分，結果數據的元數據經提煉后整合到平臺基礎元數據中。通過這樣分析、補充的循環，豐富中臺管理的數據內容。分析結果直接通過服務方式提供也方便了應用對統計分析類數據的取用。

業務數據整合管理完成后，中臺提供三大類可用數據：①業務原始數據；②融合后的全域對象數據；③統計分析類數據。

2.3 服務體系

電力企業中臺提供多樣的符合國際標準、行業標準和企業標準的共享服務滿足各類數據訪問需求（表2）。關系型、對象型以及非結構化數據均配備多種類型的服務。

除關系型數據基于RDS所固有的數據庫表訪問接口外，所有類型的數據都配備了微服務和Web服務（OSB Web）。

對象數據訪問支持IEC 61790第一代的通用數據訪問（Generic Data Access，GDA）和 作 為IEC 61970 CIS第 二版的OPC UA服務[25]。GDA提供類似SQL語言的對象訪問語義支持，便于按類批量、按關聯鏈導航查詢[26]。OPC UA是工業互聯網通信層的核心標準[27]，在統一地址空間管理對象的模型、實時、歷史、事件數據，能基于安全通道以二進制編碼方式高效傳輸數據。在應用端對數據訪問效率要求極高時，可考慮優先使用OPC UA服務。

服務部署方面，RDS數據服務由RDS服務器提供，OPC UA、GDA、Web服 務、FTP（S）等 在ECS上 部 署，微服務部署到EDAS。

表2 中臺的主要數據服務Table 2 Major data services on middle platform

2.4 中臺的建設路徑

云化構建電力企業中臺，應隨數據導入、數據分析和服務架設的需要，申請相應的計算資源。

中臺建設和共享服務體系構建應結合平臺類應用上云，一種可行的路徑是：充分利用企業現有大數據平臺、海量數據平臺及各類專業性數據管控平臺的建設成果，平移這些平臺已整理的數據和已建成的服務到云環境后，通過元數據層抽象管理，再根據數據分析和業務創新的需求優化、擴展。

電力企業現有的基于大數據負荷預報、設備運行狀態評估、智能運檢等應用[28-30]，可以移植到基于中臺實現，豐富中臺數據和服務。

3 大數據分析

企業中臺的數據整合管理中，非常重要的一環是基于已有數據進行運算，獲取統計分析結果支持管理應用和業務創新。

云化構建的企業中臺除沿用常規的可移植到ECS中的數據分析模塊之外，大數據計算應充分利用云服務以提高開發效率。阿里云的DataWorks是數據開發/大數據分析的完整環境（見圖2）[31]。

大數據分析的步驟包括數據源設定、數據集成、大數據計算、數據服務發布等環節。

3.1 數據集成

數據集成將需要計算的數據從可用數據源導入到MaxCompute存儲空間[32]。數據源設定用于指明數據來源，數據來源可以是關系數據庫、非結構化存儲等。常用數據源是中臺ECS中自行安裝的數據庫，或RDS數據庫。

圖2 大數據分析過程Figure 2 Big data analysis process

通過數據同步將數據源中的數據導入即完成數據集成。數據同步過程包括在工作區中建立目標數據表、定義數據源與目標的映射關系、配置相應的同步任務。

3.2 計算分析

大數據的分析、統計、處理邏輯通過編寫數據分析腳本實現。建立數據處理流程，在流程中增加數據處理節點。在數據處理節點中編寫MaxCompute SQL語句，測試通過后，提交到業務流程。MaxCompute SQL語法類似于SQL，能完成數據查出、緩存及利用內置函數計算。對于基本語句無法完成的復雜處理，可編寫自定義函數（User Defined Function，UDF）實現功能[33]，然后將UDF融合到MaxCompute SQL中使用。

MaxCompute作業提交后會有幾十到數分鐘的等待排隊調度的時間，因而大數據分析計算一般不用于實時或準實時的數據分析（對實時性要求高的分析計算可編寫程序在ECS上執行），最適用于衍生統計及指標類數據。

3.3 數據服務發布

計算結果存儲于MaxCompute的存儲中，通過配置名稱、分組、路徑、協議、訪問方式和訪問內容、返回類型等信息即可創建數據訪問API。

生成的API能注冊到數據服務平臺統一管理和發布。數據服務可直接發布API網關。數據服務與API網關為應用提供安全穩定、易用的數據開放共享服務（見圖3）。

圖3 數據服務發布Figure 3 Data service publishing

通過數據服務支持應用訪問之外，價值高的計算結果導出至指定數據源以供進一步展示或分析。數據導出的配置過程與數據導入類似，僅源與目標角色對調即可。導出計算結果數據到RDS中，可實質性地為企業中臺增加新的數據內容，也方便商業智能及其他基于數據庫方式的數據再利用。典型地，數據資源管控及指標分析等類型的應用，可直接取用分析結果，配以QuickBI的可視化展示[34]，極大地提升應用構建速度。

4 結束語

（1）電力企業采用中臺共享服務是數據資源管理規模擴大和計算模式升級的需要。中臺管理源自業務系統的數據，基于業務系統數據衍生分析數據，以服務共享促進數據價值和新業務挖掘。

（2）中臺管理業務系統沉淀的數據。與業務系統實時、準實時響應不同，中臺管理緩變數據，著眼于數據協同，有必要強化覆蓋全局的元數據管理以全面管控數據和共享服務。

（3）云服務提供了全方位、易用的數據分析組件，基于業務數據進行大數據統計分析應充分利用云服務中的大數據計算引擎及環境，將開發工作聚焦到業務數據演化。

（4）基于阿里云等云計算技術，以私有云支撐電力企業中臺構建是一種可行的方案。基于云服務對計算節點管理、存儲資源管理、數據集成、數據分析、數據發布等功能的全方位支持，能夠提升構建效率、降低管理復雜度。