基于大數據技術構建輸變電設備狀態監測數據模型研究

郭 寶 邵 進

1(南瑞集團有限公司國網電力科學研究院 江蘇 南京 210000)2(國家電網公司運維檢修部 北京 100000)

0 引 言

電網設備安全可靠運行是整個電力系統安全的基礎，某一局部的故障常常會影響電網安全運行，給用戶、企業和社會造成不可預估的損失。在當前電力需求每年高速增長和電力企業商業化運營環境下，輸變電設備的健康狀態和維護成本直接影響設備運行可靠性、企業效益和市場競爭力。因此，以可靠性為中心的維修策略(RCM)是全面掌控輸變電設備運行狀態，提升運維精益化管理水平的重要手段。目前，大多數網省公司成立了設備狀態評價中心，提升了輸變電設備狀態評估，改進了設備故障分析診斷，加強對設備全壽命周期成本分析水平。

在電力企業信息化建設過程中，各業務系統建設和實施過程中，由于系統建設階段和技術應用因素等影響，導致電力企業積累了大量業務數據，從簡單的文件數據庫到復雜的網絡數據庫，它們構成了電力企業的異構數據源。雖然這些數據能夠滿足各專業應用，但是在許多情況下常常為了一個決策分析，必須訪問多個業務應用系統。這些錯綜復雜的應用，涉及到不同系統、不同平臺和不同應用，甚至涉及到不同企業間的異構分布式數據交互。因此，為了在這些異構數據環境中有效訪問這些數據，并從中獲取所需的數據信息，提出數據整合概念，而數據整合源于數據集成技術。

20世紀70年代中期開始，數據集成技術在數據集成深度和廣度上，都在不斷地擴大。異構數據庫的集成技術通常有以下幾種：數據遷移和轉換技術、中間件技術、聯邦數據庫技術。隨著新技術的迅猛發展，利用“大數據”技術整合數據，形成有效的數據架構，實現跨業務平臺整合不同來源、結構化和非結構化的數據，從而幫助識別數據、消除冗余、優化文件系統，為數據分析提供基礎。同時通過引進“大數據”技術，對數據進行有效、充分地整理和分析，減少或壓縮無價值的數據，提高有效數據的利用價值，提升精益化管理水平，促進新業務形態發展。

1 數據源分析

1.1 異構多源數據分析

輸變電設備的運行狀態評估流程如圖1所示。主要通過建立輸變電設備健康檔案，并在健康檔案的數據基礎上開展輸變電設備狀態評估、運維策略優化和監測預警等應用。

圖1 輸變電設備狀態評估

由于輸變電設備的健康檔案數據來源多樣，有的來源于電網設備運維精益管理信息系統；有的來源于輸變電狀態監測系統；有的來源于電力自動化系統(SCADA)；有的記錄在設備檢測報告中；有的記錄在例行試驗表格中，這些數據分散在多個源頭，數據存儲形式、類別、格式均不同。因此，為了實現輸變電設備監測數據的集成共享應用，必須解決多源異構數據統一建模。

目前，解決多源異構系統數據集成的方法很多，如：數據庫系統、數據庫遷移和轉換、建立數據倉庫和中間件集成。然而，從當前系統集成應用效果分析比較，這些方案未能有效地解決業務協調和數據集成共享。在此背景下，我們提出一種基于大數據平臺的異構多源數據集成和存儲，通過構建輸變電設備狀態監測數據交互模型，存儲設備檔案信息，用于設備狀態評估和模型診斷，進一步深度挖掘輸變電設備監測數據價值，分析電網設備運行狀態與環境、時間、檢修、實驗等因素的關聯性，為電網設備可靠運行提供技術支撐手段。

1.2 異構多源數據接入

輸變電狀態監測接入數據類型主要分為實時和非實時兩種。接入方式如圖2所示。

圖2 異構多源數據接入

非實時性數據主要包括設備信息、檢修信息、故障信息、技術設備缺陷信息等，這類數據主要通過大數據平臺數據傳輸組件，將源系統靜態數據抽取至數據倉庫，事務型數據抽取至關系型數據庫中，按需組裝數據，用于前端應用展示，或共享至其他業務系統，并定期進行歸倉。數據倉庫中的數據按需進行批量計算，將結果數據存放至關系型數據庫(數據集市)，用于前端應用展示。

輸變電設備的實時數據包括有功、無功、電流、電壓及開關狀態等，這類數據主要通過大數據平臺消息隊列+流計算組件，接收源系統實時數據并進行計算，用于前端應用實時展示。源明細數據及計算結果數據按需存儲至非關系型數據庫，用于前端應用展示或數據分析挖掘。

2 數據模型設計

2.1 資源區域劃分

利用大數據平臺數據資源存儲的物理模型管理功能，定義源數據、共享數據、分析數據存儲的結構，并劃分不同的數據存儲區域，按照數據應用需求進行設計。設計內容包括數據緩沖區、數據視圖區和數據倉庫的存儲模型。數據存儲區域劃分主要有以下幾種：

(1) 數據緩沖區 數據緩沖區是輸變電狀態監測數據進入大數據平臺的統一數據區域，源業務系統數據首先存儲于數據緩沖區，緩沖區內的數據保持與源系統一致。數據緩沖區的數據庫采用MYSQL，使用SQL標準語言訪問數據表，大數據平臺存儲區管理為每個業務系統分別創建了一個數據緩沖區。該區的模型采用帖近源的方式設計，模型與源業務系統數據模型保持一致。

(2) 數據視圖區 數據視圖區主要存放大數據平臺資源整合和規范后的數據，對于共享或快速應用的輸變電狀態監測實時數據，統一進入數據視圖區。

該區模型采用扁平化方法設計，遵循國網SG-CIM模型標準，結合輸變電設備監測采集數據的需求，按照大數據平臺MYSQL存儲架構特性，設計形成統一數據視圖存儲模型。數據視圖存儲模型統一遵循SG-CIM模型的表、字段命名規范和主題域劃分等要求。

(3) 數據倉庫區 數據倉庫存放輸變電狀態監測的歷史數據，對所有接入大數據平臺的數據進行歸倉管理，對于需要挖掘分析的數據統一基于數據倉庫對外提供，數據倉庫采用HIVE，數據庫用戶只有一個。

輸變電設備監測的數據倉庫存儲模型遵循SG-CIM標準規范，按照大數據平臺的HVIE數據特性存儲，并結合數據應用需求，采用扁平化設計。

2.2 存儲模型設計

當前各專業應用系統通過消息隊列+流計算方式，實時接入大數據平臺的實時采集數據，按SG-CIM規范存儲，輸變電設備狀態監測系統、用電信息采集系統、配電自動化系統、電能質量監測系統等。實現數據區域直接訪問，獲取電力測點數據，進行數據分析和應用。

實時采集數據的存儲主要基于非關系型數據庫(HBase)之上構建，數據模型按照<測點名、量測值、質量碼、時間戳>四元組方式組織，這四元組是輸變電設備監測數據采集量測數據的基本特征。

非關系型數據庫的四維列式存儲遵循SG-CIM規范，數據存儲模型示例如表1所示：① row-key為行鍵；② 列族(column-family)；③ 列限定符(column-qualifier)；④ 版本(time-version)。

表1 列式存儲模型

每個數據單元保留多個時間版本，由被插入表中的時間戳來記錄。非關系型數據庫模型設計關鍵步驟如下：

(1) 列族采用單字母命名，同時列和列族的所屬按數據使用頻度和使用方式歸類，將實時和非實時查詢的列，分別歸類于不同的列族，存儲多個屬性和字段，并用分隔符隔開。

(2) 行鍵長度一般以3至10個字節為宜，不宜超過16個字節。散列字段作為行鍵的高位，低位放置時間字段，這樣將提高數據均衡分布在每個分區實現負載均衡的概率。

(3) 行鍵必須保證唯一，否則會導致數據被覆蓋。

(4) 表將根據數據場景需求進行設計，對具有關聯關系的實體按需組合設計形成一張表。

(5) 表按需分為5至20個區，根據二進制逐位比較，決定采集數據具體的存儲方式。

2.3 數據訪問設計

通過對實時監測數據、視頻信息數據和多元離線數據的集成整合存儲，由大數據平臺提供統一數據訪問服務，實現設備集中監控、設備狀態評價和故障診斷等應用。輸變電設備運行監測數據訪問服務分為兩類：實時數據訪問接口和非實時數據訪問接口。實時監測數據的訪問設計，遵照kafka消息隊列開發規范設計。非實時監測數據訪問接口，通過JDBC連接數據庫訪問監測數據，無需訪問數據倉庫，而是直接通過數據緩沖區或統一數據視圖區獲取：

(1) 業務應用通過大數據平臺提供的訪問用戶名(該用戶只有讀取權限)，直接訪問數據倉儲讀取數據，主要適用于通過數據視圖區讀取數據的業務應用場景。

(2) 大數據平臺將為業務系統訪問監測數據提供若干服務接口，包括地址訪問服務、數據讀取服務、數據操作服務等。如表2所示。

表2 數據訪問服務

通過大數據平臺提供的數據訪問接口，實現數據庫初始化和數據查詢、更新和刪除等操作。實例如下：

public class JdbcConnDemo {

public static String url=″jdbc:hive2://10.225.10.19:9001/default″;

public static String name=″SCYX″;

public static String Password=″ ″;

public static void main(String[]args) throws Exception {

//調用Jdbc獲得數據庫連接

newconn=GddwUtil.getConn(url,name,Password);

if(newconn !=null){

System.out.println(″Connection is successful!″);

}else{

System.out.println(″Connection failed!″);

}

public class CreateTableDemo {

public static void main(String[]args) throws Exception{

GdbaseClient gdbaseClient=new GdbaseClient();

//傳入參數表名

String tableNameN=″gdbase_tableA″;

//列族

String[] columnFamily={″bguo″};

//創建表

gdbaseClient.createTable(tableNameN, columnFamily);

}

public static void main(String[] args) throws Exception{

GdbaseClient gdbaseClient=new GdbaseClient();

//傳入數據表參數

String tableNameN=″gdbase_tableA″;

//全表掃描

Listresults=gdbaseClient.getAllRecord(tableNameN);

}

}

3 結 語

基于大數據平臺構建輸變電設備狀態監測運行數據交互模型，為各專業管理提供數據共享和業務協同服務，以規范專業數據的有序存儲、流轉和處理計算分析等，確保數據有效可用。在此基礎上構建輸變電設備健康檔案信息，依據輸變電設備運行工況的當前和歷史數據，利用“浴盆曲線”、“指紋分析法”和“趨勢預測法”等，開展輸變電設備資產數據、環境數據和運行工況數據之間關聯因素分析，建立輸變電設備狀態分析模型，為設備狀態評價和運維決策提供數據支撐。