泛在電力物聯(lián)網(wǎng)下的中臺(tái)云化構(gòu)建及大數(shù)據(jù)分析研究

周升 謝民 王政 王文

目前，我國(guó)電力企業(yè)正通過(guò)云計(jì)算技術(shù)來(lái)加強(qiáng)共享體系結(jié)構(gòu)的業(yè)務(wù)支持。大數(shù)據(jù)分析是中臺(tái)數(shù)據(jù)更全面應(yīng)用的代表性手段。本研究整合了業(yè)務(wù)系統(tǒng)源數(shù)據(jù)（包括關(guān)系型和基于對(duì)象的模型、實(shí)時(shí)、歷史和記錄類(lèi)數(shù)據(jù)），并建立了電力企業(yè)數(shù)據(jù)和服務(wù)主管，構(gòu)成了可擴(kuò)展的服務(wù)共享系統(tǒng)。利用云環(huán)境中用于數(shù)據(jù)重新處理的大型數(shù)據(jù)分析工具，將數(shù)據(jù)處理結(jié)果作為增量數(shù)據(jù)返回到中臺(tái)，并以服務(wù)的形式發(fā)布各種類(lèi)型的應(yīng)用程序，包括數(shù)據(jù)資源管理和指標(biāo)分析，中臺(tái)構(gòu)建和大數(shù)據(jù)分析有機(jī)地結(jié)合在一起，實(shí)現(xiàn)了現(xiàn)有業(yè)務(wù)的數(shù)據(jù)資源沉淀和標(biāo)準(zhǔn)化管理，同時(shí)，支持最高級(jí)別業(yè)務(wù)的數(shù)據(jù)的迭代派生，使數(shù)據(jù)資源總量有序增加，價(jià)值不斷增加。

智能電網(wǎng)、能源互聯(lián)網(wǎng)提議和持續(xù)發(fā)展加劇了電力企業(yè)的數(shù)字轉(zhuǎn)型。與所有級(jí)別的電源系統(tǒng)操作（組織、系統(tǒng)、設(shè)備和部件）相關(guān)的真實(shí)世界對(duì)象，以及這些RWO的管理、調(diào)整對(duì)象，通過(guò)數(shù)字互連和相互合作，使得電力公司的數(shù)據(jù)共享，加快了信息交流，智能優(yōu)化電力系統(tǒng)能耗，進(jìn)而提高電力系統(tǒng)的安全與智能穩(wěn)定。企業(yè)平臺(tái)是一個(gè)信息共享和服務(wù)發(fā)布平臺(tái)，它集成了較多業(yè)務(wù)的相關(guān)數(shù)據(jù)，在使用時(shí)還會(huì)通過(guò)共享系統(tǒng)來(lái)進(jìn)一步推動(dòng)業(yè)務(wù)轉(zhuǎn)型。管理區(qū)域中的數(shù)據(jù)相對(duì)穩(wěn)定，變化率相對(duì)較快，并且是在企業(yè)運(yùn)營(yíng)過(guò)程中積累的使用價(jià)值較高的數(shù)據(jù)。利用云計(jì)算來(lái)完成數(shù)據(jù)分析，并借此平臺(tái)構(gòu)建電力企業(yè)中心可以避免基礎(chǔ)架構(gòu)問(wèn)題，因此團(tuán)隊(duì)可以專(zhuān)注于管理數(shù)據(jù)資源和解決共享服務(wù)問(wèn)題，當(dāng)提到高級(jí)迭代更新級(jí)別，計(jì)算資源利用的效率，系統(tǒng)安全性等時(shí)，將有很大的好處。

一、構(gòu)建企業(yè)中心平臺(tái)

電力企業(yè)在構(gòu)建企業(yè)中心平臺(tái)后，能夠有效實(shí)現(xiàn)信息轉(zhuǎn)變路程，由原來(lái)的信息系統(tǒng)轉(zhuǎn)向共享式架構(gòu)，進(jìn)而借共享服務(wù)支撐業(yè)務(wù)發(fā)展。而電力企業(yè)在服務(wù)過(guò)程中會(huì)積累到較多的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過(guò)沉淀就可以得到可以共享的內(nèi)容，在此基礎(chǔ)上加工獲得較多的數(shù)據(jù)以促使企業(yè)的創(chuàng)新發(fā)展。因此中臺(tái)管理的核心內(nèi)容 是可以用下圖表示，其中包含了數(shù)據(jù)和服務(wù)，以及抽象描述處理的元數(shù)據(jù)。

二、元數(shù)據(jù)管理

“數(shù)據(jù)”中的數(shù)據(jù)就是元數(shù)據(jù)，元數(shù)據(jù)對(duì)信息數(shù)據(jù)進(jìn)行描述、定位與解釋?zhuān)瑥亩沟脭?shù)據(jù)更加方便檢索與管理使用。元數(shù)據(jù)具有文件記錄、指示數(shù)據(jù)儲(chǔ)存位置、數(shù)據(jù)資源查找等功能，是實(shí)現(xiàn)信息數(shù)據(jù)共享與交換的基礎(chǔ)所在。

（一）業(yè)務(wù)數(shù)據(jù)整合管理

中臺(tái)的數(shù)據(jù)來(lái)源于企業(yè)日常生產(chǎn)活動(dòng)中的電力營(yíng)銷(xiāo)，發(fā)電控制，生產(chǎn)管理等環(huán)節(jié)的業(yè)務(wù)系統(tǒng)。根據(jù)該系統(tǒng)提供的數(shù)據(jù)，再將元數(shù)據(jù)與其進(jìn)行融合，并應(yīng)用到到管理中，經(jīng)過(guò)數(shù)據(jù)轉(zhuǎn)換與提取，最終將其導(dǎo)入到中央RDS系統(tǒng)中。基于處理對(duì)象的數(shù)據(jù)根據(jù)企業(yè)的要求進(jìn)行模范化，包括路徑對(duì)象關(guān)聯(lián)的規(guī)范與調(diào)整。這些業(yè)務(wù)數(shù)據(jù)是通過(guò)RDS和對(duì)象數(shù)據(jù)訪問(wèn)服務(wù)發(fā)布的原始數(shù)據(jù)。在企業(yè)通用信息模型范圍內(nèi)，將在ECS上運(yùn)行的“規(guī)范化數(shù)據(jù)池”活動(dòng)移動(dòng)到為轉(zhuǎn)換對(duì)象而創(chuàng)建的RDS的關(guān)系業(yè)務(wù)數(shù)據(jù)。對(duì)基于對(duì)象的數(shù)據(jù)和直接引入數(shù)據(jù)進(jìn)行轉(zhuǎn)換后，完成多源系統(tǒng)上的數(shù)據(jù)匹配、關(guān)聯(lián)、統(tǒng)一數(shù)據(jù)的標(biāo)準(zhǔn)化集成。中臺(tái)現(xiàn)有數(shù)據(jù)通過(guò)服務(wù)共享提供給外部應(yīng)用程序，同時(shí)通過(guò)平臺(tái)內(nèi)的大型數(shù)據(jù)引擎或自行開(kāi)發(fā)的數(shù)據(jù)分析軟件進(jìn)行綜合分析應(yīng)用程序，以提高數(shù)據(jù)質(zhì)量和數(shù)據(jù)價(jià)值。分析結(jié)果構(gòu)成了中臺(tái)數(shù)據(jù)的組件，該組件合并了通過(guò)基于平臺(tái)的元數(shù)據(jù)細(xì)化的結(jié)果數(shù)據(jù)的元數(shù)據(jù)。通過(guò)對(duì)數(shù)據(jù)的整合與管控，豐富了中臺(tái)系統(tǒng)的數(shù)據(jù)內(nèi)存。

（二）服務(wù)體系

在電力公司內(nèi)部，中臺(tái)提供各種共享服務(wù)，以滿足不同類(lèi)型的數(shù)據(jù)訪問(wèn)需求。同時(shí)，基于處理對(duì)象的數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)提供了幾種類(lèi)型的服務(wù)。除了基于RDS獨(dú)特的數(shù)據(jù)庫(kù)訪問(wèn)接口的關(guān)系數(shù)據(jù)之外，所有類(lèi)型的數(shù)據(jù)都提供微服務(wù)和Web服務(wù)，第1代通用數(shù)據(jù)訪問(wèn)和服務(wù)支持對(duì)象數(shù)據(jù)訪問(wèn)。 GDA提供類(lèi)似于SQL語(yǔ)言的對(duì)象訪問(wèn)語(yǔ)義支持，使相關(guān)人員可以輕松按類(lèi)別和關(guān)聯(lián)鏈進(jìn)行瀏覽和查詢。 OPC UA是工業(yè)Internet通信層的核心標(biāo)準(zhǔn)，可以在集成地址空間中管理對(duì)象的模型，實(shí)時(shí)，歷史和事件數(shù)據(jù)，最后通過(guò)安全通道有效傳輸以完成該項(xiàng)服務(wù)。如果應(yīng)用程序的數(shù)據(jù)訪問(wèn)效率非常高，建議優(yōu)先訪問(wèn)OPC UA服務(wù)。

（三）主臺(tái)的建設(shè)路徑

要用云構(gòu)建電力企業(yè)的主中臺(tái)，就需要對(duì)數(shù)據(jù)進(jìn)行處理，通過(guò)數(shù)據(jù)的導(dǎo)入、分析以及其他服務(wù)來(lái)申請(qǐng)計(jì)算。中心平臺(tái)與共享服務(wù)系統(tǒng)的建設(shè)是充分利用企業(yè)現(xiàn)有大型數(shù)據(jù)平臺(tái)、大規(guī)模基準(zhǔn)平臺(tái)和各種專(zhuān)業(yè)數(shù)據(jù)管理平臺(tái)的構(gòu)建結(jié)果，將這些平面數(shù)據(jù)和完成的服務(wù)移到云環(huán)境中，通過(guò)不斷優(yōu)化、擴(kuò)展，使數(shù)據(jù)能夠完成分析任務(wù)以及對(duì)業(yè)務(wù)的創(chuàng)新有較大幫助。可以將電力企業(yè)現(xiàn)有的大容量數(shù)據(jù)負(fù)載預(yù)測(cè)、設(shè)備運(yùn)行狀態(tài)評(píng)估、智能發(fā)貨檢查等應(yīng)用程序轉(zhuǎn)移到基于中端的豐富的中端數(shù)據(jù)和服務(wù)中。

三、大數(shù)據(jù)分析

根據(jù)原有數(shù)據(jù)進(jìn)行執(zhí)行運(yùn)算，是企業(yè)中臺(tái)管理數(shù)據(jù)中的重要組成部分，并統(tǒng)計(jì)分析折算結(jié)果，已推動(dòng)企業(yè)管理與業(yè)務(wù)的未來(lái)發(fā)展。構(gòu)建云企業(yè)中臺(tái)管理除了可以移植到通用數(shù)字模塊外，規(guī)模較大的數(shù)據(jù)運(yùn)算還需要利用原系統(tǒng)來(lái)提高數(shù)據(jù)的開(kāi)發(fā)效率。大數(shù)據(jù)分析的步驟包括：設(shè)計(jì)原數(shù)據(jù)、合并數(shù)據(jù)、計(jì)算數(shù)據(jù)、數(shù)據(jù)發(fā)布、數(shù)據(jù)服務(wù)等。

（一）數(shù)據(jù)合并

數(shù)據(jù)合并從可用數(shù)據(jù)源中獲取需要計(jì)算到MaxCompute存儲(chǔ)空間的數(shù)據(jù)。數(shù)據(jù)源設(shè)置用于表示可能是關(guān)系數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化存儲(chǔ)等的數(shù)據(jù)源。公共數(shù)據(jù)源是自行安裝在的ECS中的數(shù)據(jù)庫(kù)或RDS數(shù)據(jù)庫(kù)。將元數(shù)據(jù)導(dǎo)入現(xiàn)數(shù)據(jù)進(jìn)行同步并合并。數(shù)據(jù)同步的過(guò)程包括設(shè)置目標(biāo)數(shù)據(jù)表，統(tǒng)計(jì)數(shù)據(jù)源與目標(biāo)的映射關(guān)系，并進(jìn)行相應(yīng)的同步作業(yè)。

（二） 數(shù)據(jù)計(jì)算

在對(duì)數(shù)據(jù)進(jìn)行分析時(shí)，通過(guò)建立數(shù)據(jù)處理流程向其中添加數(shù)據(jù)的處理節(jié)點(diǎn)，并且在數(shù)據(jù)處理節(jié)點(diǎn)上編寫(xiě)MaxCompute SQL語(yǔ)句，之后在進(jìn)行后續(xù)流程。這種語(yǔ)句與SQL較為相似，可以在完成基本運(yùn)算的基礎(chǔ)上，輔以自定義函數(shù)來(lái)處理更為復(fù)雜的語(yǔ)句，從而實(shí)現(xiàn)其功能。提交MaxCompute作業(yè)后，等待時(shí)間表等待需要幾十分鐘到幾分鐘，因此大型數(shù)據(jù)分析計(jì)算通常不用于實(shí)時(shí)或準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析，最適合派生統(tǒng)計(jì)信息和指標(biāo)類(lèi)數(shù)據(jù)。

（三）服務(wù)發(fā)布

在完成數(shù)據(jù)計(jì)算之后，將其進(jìn)行存儲(chǔ)，并設(shè)定可通過(guò)分組協(xié)議進(jìn)行訪問(wèn)，同時(shí)還可以根據(jù)生成的API數(shù)據(jù)進(jìn)行注冊(cè)，從而實(shí)現(xiàn)訪問(wèn)工作，也實(shí)現(xiàn)統(tǒng)一的管理與發(fā)布，為應(yīng)用程序提供安全、易于使用的數(shù)據(jù)開(kāi)放共享服務(wù)。

為了進(jìn)一步演示或分析，在對(duì)數(shù)據(jù)服務(wù)訪問(wèn)之外，對(duì)于在過(guò)程中產(chǎn)生的有較高價(jià)值的數(shù)據(jù)結(jié)果也會(huì)進(jìn)入之后的數(shù)據(jù)共享服務(wù)中，成為后續(xù)流程的數(shù)據(jù)源。數(shù)據(jù)導(dǎo)出器的配置過(guò)程類(lèi)似于僅匹配源和目標(biāo)角色的數(shù)據(jù)導(dǎo)入，將計(jì)算結(jié)果數(shù)據(jù)導(dǎo)出到RDS，以方便業(yè)務(wù)智能和其他基于數(shù)據(jù)庫(kù)的數(shù)據(jù)重復(fù)使用，從而將數(shù)據(jù)內(nèi)容實(shí)際添加到業(yè)務(wù)中。通常可以通過(guò)數(shù)據(jù)資源管理和指標(biāo)分析等類(lèi)型的應(yīng)用程序直接利用分析結(jié)果，并通過(guò)快速的可視演示大大加快應(yīng)用程序部署。

四、結(jié)論

電力公司需要擴(kuò)展其數(shù)據(jù)資源管理并升級(jí)其計(jì)算模型，以采用中端共享服務(wù)。從業(yè)務(wù)系統(tǒng)派生的數(shù)據(jù)，以及各種分析數(shù)據(jù)，都可以通過(guò)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)價(jià)值，并且發(fā)掘新業(yè)務(wù)。

本文提出的中心平臺(tái)管理中，每個(gè)環(huán)節(jié)存儲(chǔ)的業(yè)務(wù)不同于目前業(yè)務(wù)系統(tǒng)中的時(shí)效，中臺(tái)管理需要加強(qiáng)全局元數(shù)據(jù)管理，以管理快速變化的數(shù)據(jù)，集中數(shù)據(jù)協(xié)作以及全面管理數(shù)據(jù)和共享服務(wù)。

云服務(wù)提供了全面且易于使用的數(shù)據(jù)分析組件基于業(yè)務(wù)數(shù)據(jù)的大規(guī)模數(shù)據(jù)統(tǒng)計(jì)分析是云服務(wù)的大型數(shù)據(jù)計(jì)算引擎，并且專(zhuān)注于業(yè)務(wù)數(shù)據(jù)的開(kāi)發(fā)工作。

作者單位：國(guó)網(wǎng)浙江省電力有限公司