基于用電信息采集系統的大數據共享與應用

金 敏，周 奇，唐 哲

（1.國網江西省電力有限公司新余供電分公司，江西新余 338000；2.國網江西省電力有限公司南昌市新建區供電分公司，江西南昌 330100）

0 引言

用電信息采集系統已基本實現了全覆蓋，目前正在深化應用，為其他系統應用提供數據信息共享資源。通過對目前采集系統與其他系統的數據共享交互進行統計分析，用電信息采集系統已為與關口電能量管理系統、電能質量監測系統、PMS、調度管理系統、供電電壓自動采集系統、遠程實時費控系統、計量生產調度平臺、營銷業務系統、電能服務管理平臺等25個業務系統提供信息及數據支撐[1]。通過研究用電信息采集系統與其它外部業務系統間的數據信息關聯關系，在用電信息采集系統的信息數據大平臺上充分開發信息、數據共享平臺，提供更多業務功能的支撐，實現更多業務系統的大數據高效共享，資源更充分地運用。

1 數據共享設計思路

1.1 構建數據共享服務平臺

蓄建設采集系統數據共享服務平臺，實現采集系統與外部系統數據共享、交互及統一接口，實現數據交互規范管理，數據交互內容和方法靈活配置，數據交互安全可靠，數據交互在線監測[2]。

1）建立適合多業務數據信息共享的模型

根據各種不同的數據類型、數據傳送路徑以及各類不同的共享方式，針對性地各自建立數據的共享模型，在數據共享服務平臺的管理下，達到采集系統對各業務系統的數據共享的目的。

2）實現信息共享在線監測管理

實時監測所有數據共享服務的運行狀態、調用情況、交互流量等信息，并通過可視化功能實現常態化監控。

1.2 實現采集數據發布云服務

運用數據共享服務平臺，通過采集數據的云服務，完成采集數據信息的共享服務，最大限度的提供電力用戶電量數據、上報信息對其它信息系統的支撐作用。

1.3 預定數據信息共享管理規范

制設采集系統數據的共享需求申請、審批、參數配置等流程管理約定，預先確定敏感性數據、信息所需的脫敏要求，保證數據、信息的共享安全。

2 數據共享方案

2.1 采集數據共享構架

通過用電信息采集系統數據共享服務平臺，構建采集系統數據服務器與其他系統之間的數據、信息共享渠道，提供靜態數據共享、實時數據信息共享、特定共享等應用。具體共享服務內容如圖1所示：

圖1 共享服務平臺共享示意圖

靜態數據共享：提取用電信息采集系統的各項指標數據、凍結電量，并按需求進行統計分析推送到共享服務平臺。還可根據預設進行靈活配置，完成各種定制需求。

實時數據共享：通過在線及時獲取采集系統的各種上報異常事件及信息數據，實時為其它業務系統提供所需的數據信息，滿足提出的各類服務要求。

特定共享：為滿足營銷業務應用系統等與用電信息采集系統之間復雜業務數據信息交互要求，特設置特定共享專為營銷業務應用系統提供服務。

共享服務平臺在實現數據信息共享的同時，必需具備在線監控和規范管理。主要包括需求管控、配置管控、服務管控等基本管控功能。“需求管控”用于完成對采集系統數據共享所需要的申請、審批、執行等流程進行規范管控。“配置管控”主要對配置共享服務平臺訪的問權限、配置平臺運行參數、配置數據發布模型等權限進行管控。“服務管控”用于對共享服務的運行狀態、調用情況、交互流量、共享日志、采集數據質量等信息進行在線監測管控。

2.2 數據共享邏輯架構

數據共享服務平臺在邏輯上分為數據層、服務層和應用層三個層級。其中數據層將需要共享的數據在構接口數據庫上進行存儲和統一管理[3]，接口數據庫通過ETL、OGG等方式從在線運行的用電信息采集系統生產庫中按照自己的需求進行獲取。接口庫中的數據信息根據外部系統需要的設置，保留到所設定的時間，超過了設定的保存期則系統自動進行清理。

平臺的服務層由計算集群和服務集群組成。其中：服務集群又包括接口服務集群和文件服務集群兩部分內容；接口服務集群則按照分布式負載均衡的模式完成對其它系統的各項共享服務，同時還以文件方式為其它業務系統提供大數據下載的服務。

平臺的計算集群按照各外部系統不同的數據信息需求劃分，包括靜態數據共享、實時數據共享、特定共享等三種方式，具體工作流程為，靜態數據的共享是采用面向對象的模型與WebService相結合的技術路線，首先其它業務系統將組合對象按照數據模型定義發送到接口服務，接口服務應用共享功能將該對象進行計算解析，將其所需的數據從接口數據庫中提取，再將數據對象集合返回；實時數據的共享的技術路線也是采用面向對象的模型與WebService相結合方式，應用采集系統前置機將采集數據信息份兩路推送，一路通過采集系統向數據應用推送，另一路通過獨立應用抓取等多種方式直接獲取實時數據，再將所獲取的數據信息向外部其它業務應用系統實時推送各個外部業務應用系統所需求的數據和信息；特定共享指大數據共享服務平臺為具有復雜業務的數據信息共享系統開辟一條專用的數據信息共享通道，比如與營銷系統的數據共享、與費控管理系統的數據、信息交互等。

平臺的應用層分為三個層級，具體包括：需求管控、配置管控、服務管控等支撐業務。這些管控業務功能在平臺設計時可以作為采集系統的功能模塊來實現，也可設計在用電信息采集系統的技術框架上來完成。

3 數據共享流程

3.1 靜態數據共享

靜態數據包括計量資產的檔案數據、各類凍結數據、電壓電流功率等電參數的曲線數據、各類合格率的統計數據、各項技術指標數據等[4]，其對外部系統數據、信息共享服務的具體方式如下：

1）數據對象配置。首先按照外部業務系統所需采集系統靜態數據的不同需求，將其所需數據分解為各個最小數據對象，通過數據對象預定共享服務，以便及時從用采系統的生產數據庫中將所需的數據獲取后，直接提前放置到接口數據庫中，為后續的數據共享服務做好準備。

2）數據共享配置。根據數據共享請求的數據類型、所需頻度、所需的數據項內容組合等方面，考慮數據共享的模式是基于面向對象的交互方式。采用配置方式能對接口庫中的最小數據單元根據不同的請求結合成其所需的數據集合，按需索取，卑職·配置快捷方便。

3）靜態數據共享實施。在收到外部系統的數據請求后，靜態數據共享接口服務解析外部系統的請求對象，按照動態方法模型首先從接口數據庫中獲取所需的數據對象，并進行集合。若返回的只是少量數據，則直接回送數據本身；若需要回送的數據量較多，則應按照所需的時間生成數據集合放置在文件的服務節點上，同時通知外部業務系統可以采用下載方式獲取該數據的最早時間和最晚時間。外部業務系統需按共享服務平臺的技術規范要求，獲取所需的數據，并在相應的時間內取走所需的數據，如過期不取，則平臺會對過期數據自動清理。

3.2 實時數據共享

實時數據主要是指采集系統的實時負荷數據、電壓電流曲線數據、終端異常事件等數據等，對外部系統進行數據共享服務的具體實現方式如下：

1）數據訂閱配置。首先根據外部系統的實時動態數據需求，為外部系統配置訂閱模式，主要有訂閱項目、訂閱時間頻度要求、訂閱內容等，并存放到共享數據庫中。

2）實時數據獲取。要求采集系統采集前置機集群在收到采集終端實時數據后，通過采集系統前置機分2路分發，或采集系統通過抓取等技術，為統共享服務平臺提供實時數據。

3）實時數據共享。將實時數據按需組織，通過接口服務分別推送給相應的外部業務應用系統。

3.3 特定交互接口

部分可信系統的業務應用需要與采集系統進行復雜的業務交互，此類接口也將統一通過接口服務集群實現數據交互，但其接口數據的應用因為其業務特殊性，需要采用獨立的接口計算來實現[5]。當前已有的特定交互接口如表1所示：

表1 特定交互業務

4 與營銷系統交互案例

4.1 與“SG186”營銷管理業務應用系統的數據

示意圖如圖2所示：

圖2 與營銷系統數據交互示意圖

如上圖所示，數據交互主要存在以下2種業務類型，說明如下：

1）在營銷管理業務應用系統的電能信息采集業務功能項中：

（a）操作員按照具體業務的要求，按要求編制相應的采集任務，再將該任務發送到采集系統。

（b）采集模塊將采集到的數據傳遞給營銷系統供對應的管理業務應用模塊使用，實現數據采集任務的閉環。

2）在營銷管理業務應用系統的電能信息采集業務功能項中：

（a）操作員按照電量采集、費控、負荷控制等業務需要，將控制任務發送到采集系統執行。

（b）采集系統將控制參數下發，并將下發結果發送給營銷管理系統相應的業務應用模塊，實現控制任務完成閉環。

4.2 數據流描述

營銷業務應用管理系統主動發送到用電信息采集的數據見表2。

表2 營銷發送到采集的數據表

電量實時數據包括購、供、售的電量、電流、電壓信息等,是自動采集獲取的電能量數據，數據量巨大，采集頻率很高（如各類曲線數據），單獨對其數據進行存儲,從數據獲取方式上看屬于自動轉入數據，從數據來源上看包括原生數據、再生數據，從獲取頻率來看既有實時（準實時）數據也有非實時數據。這部分數據有頻繁的寫操作，而且數據變動量也相當巨大，可以說是周期性數據中數據增長周期性很短的一個特例。雖然這部分數據量巨大，但是每個數據都具有時間這一要素。根據時間來進行分區設計，從而優化數據訪問。

5 大數據共享特點

5.1 大幅減輕用電信息采集系統服務器數據交換的負荷壓力

采集系統過去要分別向二十余個業務系統推送數據，負荷壓力很大，采用大數據共享平臺后，只需向大數據共享平臺推送數據，供其它業務系統使用，大大地降低了采集系統的數據推送負荷壓力。

5.2 數據交換更加穩定、可靠、合理

采用大數據共享平臺后，增加了安全驗證策略，為實際業務提供了更合理的應用服務。共享數據的穩定性、復用性、可靠性度得到提高。

5.3 數據交換的效能得到提升

采集系統過去要分別向二十余個業務系統推送數據，負荷壓力很大，速度慢，效能低下。采用大數據共享平臺后，只需向大數據共享平臺推送數據，負荷壓力小，效能大幅提升。

5.4 數據交換的效能得到提升

提出適合不同業務平臺實際情況的信息處理與智能分析手段，建立統一的支持多業務實現的接口平臺，打破“信息孤島”，為用電信息的實時高效處理提供保障，也進一步為智能電網的高效信息化提供堅實的發展基礎

6 結語

研究并應用適用于多業務需求的用電信息采集數據共享平臺。研究用電信息采集系統相關業務平臺的數據類型及相關屬性、信息共享模式、信息存儲方式、數據挖掘和信息交互技術，分析各業務平臺間的相互關聯關系，提出適合不同業務平臺實際情況的信息處理與智能分析方法，建立支持多業務數據共享的平臺，并實施應用，為用電信息的實時高效處理提供保障。